优化算法进阶——学习打卡

为最小化损失函数进行参数更新时，对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收敛的结果。
损失函数中的参数，单独进行更新时参数们的收敛速度一般是不同的，这种不同造成了更新过程中损失值的震荡，或者难以收敛。如：f(x)=0.1 * x1^2 + 2 * x2^2中，x2与x1的梯度更新速度相差20倍。

给定学习率，梯度下降迭代自变量时会使自变量在竖直方向比在水平方向移动幅度更大。那么，我们需要一个较小的学习率从而避免自变量在竖直方向上越过目标函数最优解。然而，这会造成自变量在水平方向上朝最优解移动变慢。但将学习率调得稍大一点，此时自变量在竖直方向不断越过最优解并逐渐发散

为缓解上述问题，可以采取两种方法。
1：Preconditioning的做法：在二阶优化中，我们使用Hessian matrix的逆矩阵(或者pseudo inverse)来左乘梯度向量。
2：Averaging history gradient。

Momentum

增加动量m,momentum算法更新参数的两种写法：

由指数加权移动平均理解动量法。由指数加权移动平均的形式可得，动量m 实际上对序列nt*gt/(1-B) 做了指数加权移动平均。指数加权移动公式：