本文介绍了优化算法中的两种重要方法——梯度下降和随机梯度下降（SGD）。SGD通过每次迭代计算一个样本的梯度来减少计算开销，而小批量随机梯度下降（batch SGD）在SGD的基础上引入了批量处理，以平衡计算效率和准确性。批量大小的选择影响着算法的收敛速度和资源消耗，学习率的调整是优化过程中的关键因素。
优化算法–SGD，batch SGD
优化算法的目标函数是一个基于训练数据集的损失函数，优化的目标在于降低训练误差。在深度学习中主要面临两个挑战：局部最小值和鞍点。
梯度下降和SGD
多维梯度下降：目标函数的输入为向量，输出为标量。假设目标函数 f : R d → R f: \mathbb{R}^d \rightarrow \mathbb{R} f:Rd→R的输入是一个 d d d维向量 x = [ x 1 , x 2 , … , x d ] ⊤ \boldsymbol{x} = [x_1, x_2, \ldots, x_d]^\top x=[x1,x2,…,xd]⊤。目标函数 f ( x ) f(\boldsymbol{x}) f(x)有关 x \boldsymbol{x} x的梯度是一个由 d d d个偏导数组成的向量：
∇ x f ( x ) = [ ∂ f ( x ) ∂ x 1 , ∂ f ( x ) ∂ x 2 , … , ∂ f ( x ) ∂ x d ] ⊤ . \nabla_{\boldsymbol{x}} f(\boldsymbol{x}) = \bigg[\frac{\partial f(\boldsymbol{x})}{\partial x_1}, \frac{\partial f(\boldsymbol{x})}{\partial x_2}, \ldots, \frac{\partial f(\boldsymbol{x})}{\partial x_d}\bigg]^\top. ∇xf(x)=[∂x1∂f(
最低0.47元/天 解锁文章
3843
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
