机器学习系列手记（七）：优化算法之随机梯度下降法的加速

优化算法

随机梯度下降法的加速

      提到深度学习中的优化算法，人们通常会想到随机梯度下降。但随机梯度下降有时确是你算法中的一个坑。当你设计出一个深度神经网络时，如果只知道用随机梯度下降来训练模型，那么当你得到一个比较差的训练结果时，你可能会放弃在这个模型上继续投入精力。然而，造成训练效果差的真正原因可能并不是模型的问题，而是随机梯度下降法在优化过程中失效了。

1、随机梯度下降法实效的原因

      随机梯度下降好比蒙着眼睛下山，只能凭脚底踩石头的感觉判断当前位置的坡度，精确性大大降低，而批量梯度下降就好比正常下山。
      批量梯度下降法在全部训练集{ $x_i,y_i$}${}_{i=1}^n$上计算准确的梯度，即
$$\sum _{i=1}^n{▽}_{\theta }f(\theta ;x_i,y_i)+{▽}_{\theta }\varphi (\theta )$$
其中$f(\theta ;x_i,y_i)$表示在每个样本 $(x_i,y_i)$ 的损失函数， $\varphi (\theta )$ 为正则化项。
      随机梯度下降则采用单个样本来估计的当前梯度，即
▽ θ f ( θ ; x i , y i ) + ▽ θ ϕ ( θ ) ▽_{\theta}f(\theta;x_i,y_i)+▽_{\theta} \phi(\theta)