深度学习中的常用优化算法

4 深度学习中的优化算法

深度学习是目前非常火的一个研究领域，主要以研究神经网络为主，因为其复杂性，所以有很多问题需要处理，同时也衍生出了很多不同的优化算法，专门改善神经网络的训练，使得它能够在工业界使用。

因此，本章收录了关于神经网络训练的一些问题，以及相应的较为成熟的解决方案，供读者使用。

4.1 动量momentum

虽然小批量梯度下降法相比于梯度下降法有了一定的效率提升，但如果小批量中的样本也特别大的时候，一个批次的训练也会非常慢，所以人们就想，能不能在小批次样本上加快迭代的速度？

在物理学中，因为惯性，物体当前时刻的速度会受到前一时刻的速度影响，基于此，发现了momentum优化算法。简单的说，就是当前迭代点的下降方向不仅仅取决于当前的梯度，还受到前面所有迭代点的影响，就像小球在碗里滑动一样，它的滑动速度会越来越快，这样迭代就能快速地到达谷底了。

物理示意图如下，迭代的实际方向是以前所有的动量和当前梯度的组合：

假设学习率为 $\varepsilon$,动量参数为 $\alpha$.初始参数为w，初始速度为v，每个批次有m个样本{ $x^{(1)},x^{(2)},\cdots,x^{(m)}$},它们对应的学习目标为 $y^{(i)}$,梯度的计算可以表示为：

g=∇w(1m∑imL(f(x(i);w),y(i))) g = ∇ w ( 1 m ∑ i