梯度下降查询表

GD	公式	备注
BGD	$\theta =\theta -\eta \nabla J(\theta )$
SGD	$\theta =\theta -\eta \nabla J(\theta ;x^{(i)},y^{(i)})$	跳出局部极小；对学习率敏感
Mini-batch SGD	$\theta =\theta -\eta \nabla J(\theta ;x^{(i:i+n)},y^{(i:i+n)})$	对batch szie敏感
【统一写法】	$g_t=\nabla J(\theta )$ $m_t=\varphi (g_1,...,g_t)$ $v_t=\psi (g_1,...g_t)$
重写SGD	$m_t=\eta g_t$
Momentum	$m_t=\gamma m_{t-1}+\eta g_t$ $\theta =\theta -m_t$	累积梯度即累积之前更新方向、惯性，提升稳定性，减少振荡
Nesterov	$m_t=\gamma m_{t-1}+\eta \nabla J(\theta -\gamma m_{t-1})$ $\theta =\theta -m_t$
【Adaptive思想】	AdaGrad 算法最大的特点是将历史梯度 L2 范数的倒数作为缩放学习率的因子。 直观上，一直拥有较大梯度的参数处于较陡的位置，它离最终收敛还有一段距离，因此我们可以选择较大的学习率而加快梯度下降的速度。而对于较小的梯度，它的位置相对而言比较平坦，且很可能处于接近收敛的范围，因此我们需要减小学习率而更谨慎地搜索最优解。
AdaGrad	$\theta =\theta -\frac{\alpha }{\sqrt{v_t+ϵ}}{m}_t$	学习率自动由大变小，适用于稀疏梯度
进一步发展	$J(\theta )$非凸和梯度较密集时，学习率快速衰退，模型的高维空间加剧。 为此提出RMSPROP，Adam，AdaDelta，NAdam；使用历史梯度平方的指数移动均值，更新更多依赖于过去几次迭代的梯度信息	AdaDelta对学习率不敏感，自动学习
RMSprop	$m_t=g_t$ $v_t=E[g^2{]}_t$ $v_t=\gamma v_{t-1}+\eta g_t$ $\theta =\theta -\frac{\alpha }{\sqrt{v_t+ϵ}}{m}_t$	最常用，改进学习率过快衰减
Adam	$\eta =1-\gamma$ $m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$ $v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$ $\theta =\theta -\frac{\alpha }{\sqrt{v_t+ϵ}}{m}_t$	结合一阶二阶