[AI 笔记] Optimization参数优化

参考资料：
CS231n

SGD的问题

现在假设对2维的参数空间进行优化，如下图：

其中最红的地方代表最小值点，即优化目标。

对于SGD而言，就是简单地计算梯度，然后把负梯度乘以一定的学习率后加在权重上对其更新。

按照SGD的更新策略，其从初始位置到达最优点的路径应该如下图所示，是之字形的路线。显然效率不高。

另外，如果在参数空间中遇到极小值点，或者鞍点（saddle point），由于这两处的梯度为0，SGD就会卡住，如下图所示。

在实际操作中，由于有成千上万个参数，参数空间为成千上万维。在任意一个方向上，损失都增加的概率比较小，所以极小值点出现的概率是比较小的，遇到最多的问题应该是鞍点。

对于鞍点而言，在其两边的梯度接近于0，也会导致模型训练速度过慢。

另外，SGD的梯度来源于minibatch，即小批量数据，而不是全局的梯度，所以相当于在真实梯度上加入了噪声，如下图所示。也会影响训练速度。

SGD + Momentum

一个简单的解决办法就是加动量的SGD，如下图所示。
这里定义一个动量 v，结合下图进行理解。真实的前进方向是梯度与Velocity的矢量和。

加动量的SGD相当于每次都具有一个初速度，这样遇到鞍点，或者极小值点，就能跳出来了。如下图所示，其接近最小值的路径也不是之字形了。

AdaGrad

AdaGrad 记录了一个梯度的平方和累加，步进时，梯度除以这个平方和累加（其中的常数防止分母为零）。那么在梯度较小的维度上，其梯度也能相对地放大，从而使得AdaGrad在每一个维度上都有较好的参数更新。

RMSProp

由于 AdaGrad 中，记录的是梯度的平方和累加，所以随着时间推移，它会越来越大，这在凸函数中是比较好的，因为它最后会以较低的速度接近最小值，但如果是非凸函数，它可能会卡在极小值点或者鞍点。所以在 RMSProp 中，对这个平方和累加进行了一定的衰减。

Adam

Adam 是动量SGD和 RMSProp 的结合。如下图所示，既维护了带动量的梯度，也维护了梯度平方累加及其衰减。最后是用带动量的梯度除以梯度平方累加。

中间的 Bias correction 用来解决在刚开始的时候，Adam 可能步进过多的问题。用时间 t 来对其进行调整。

总结

在实际运用中，Adam 的表现一般都比较好，可以粗暴地选择 Adam。