【优化算法】2. 梯度下降优化算法

概论

梯度下降不会直接用于深度学习，在生产环境中，会使用梯度下降的优化算法

深度学习中的目标函数通常是训练集中每个样本的损失函数平均值。给定$n$个样本的训练数据集，假设$f_i(x)$是第$i$个训练样本的损失函数，其中$X$是参数向量。然后我们得到目标函数

$$f(X)=\frac{1}{n}\sum _{i=1}^n{f}_i(X)$$

$X$的目标函数的梯度计算方式为

$$\nabla f(x)=\frac{1}{n}\sum _{i=1}^n\nabla f_i(x)$$

梯度下降法，每个自变量的计算代价是$\mathcal{O}(n)$，训练数据集较大时，时间复杂度较高。

随机梯度下降

随机梯度下降（stochastic gradient descent）算法是深度学习中使用最广泛的优化算法。随机梯度下降(SGD)可降低每次迭代时的计算代价。在每次迭代过程中，我们对数据样本随机均匀采样一个索引$i$，其中 i ∈ { 1 , … , n } i\in\{1,\ldots, n\} i∈{ 1,…,n}，并计算梯度$\nabla f_i(x)$来更新$x$

$$x\leftarrow x-\eta \nabla f_i(x)$$

其中$\eta$是学习率。每次迭代的时间复杂度从$\mathcal{O}(n)$降低到$\mathcal{O}(1)$。其中随机梯度$\nabla f_i(x)$是对完整梯度$\nabla f(x)$的无偏估计，因为

$$\mathbb{E}$$