深度学习中的优化器原理（SGD、RMSProp、Adam）

视频参考：

深度学习中的优化器原理(SGD,SGD+Momentum,Adagrad,RMSProp,Adam)_哔哩哔哩_bilibili

SGD：梯度下降

梯度是该位置上升最快的方向，负梯度是下降最快，所以更新参数是减去学习率✖️梯度

SGD + Momentum：

在上图这种情况，梯度幅度大的地方会主导梯度方向，如果用原始的SGD那么参数变化会在梯度幅度大的地方震荡（视频中10:00），所以考虑引入动量

v会累积之前的梯度，那在梯度变化大的地方会抵消（震荡过程中，梯度一正一负，累加就会抵消），梯度幅度小的地方会累加 （梯度幅度小的地方，梯度方向一直保持不变，累加就会增大）

Adagrad：

参数的更新是由学习率和梯度共同决定，上面引入动量，其实是考虑改变梯度，其实也可以考虑自适应改变学习率。 

刚才动量的累积让梯度变化大的地方梯度抵消，从而参数变化小，也可以让它在梯度变化大的地方更新步长（学习率）小。

引入累积平方梯度r，让梯度开平方，更新参数的时候作为学习率的分母，梯度越大，那学习率就会更小，梯度越小反而学习率（步长）更大。所以就可以在梯度变化大的地方步长小，在梯度变化缓慢的地方步长大。

r是累加过程，所以r是慢慢变大，慢慢的在梯度变化小的方向他的步长也会很小，从而无法继续更新，这时候RMSProp就解决这个问题

RMSProp：

引入衰减系数p，一般取0.999，范围（0，1）。

AdaGrad的累积平方梯度是累加之前所有的梯度平方，乘上衰减系数后，多次更新之后，之前的梯度的影响就会变小，（比如取p = 0.99，100次更新之后 p**100 = 0.36...），从而又可以根据当前的梯度来调节梯度。

Adam：

Adam则结合了SGD+Momentum和RMSProp的优点

另外也加入了一个修正，（视频中说是避免冷启动的问题）

假设衰减系数p = 0.999， 动量参数a = 0.9，累积梯度v0 = 0， 累积平方梯度r0 = 0，那么v1 = 0.1*g，r1 = 0.001*g*g，这两个值都很小，与实际的v1 = g，r1 = g*g相差很大，所以引入修正。

指数加权平均的修正参考：移动平均(Moving Average) - 知乎