深度学习优化算法

Mini-batch梯度下降法

1. 批梯度下降时，每一次迭代代价函数都会降低（如果某一次不是，说明出问题了，可能要改变学习率），而mini-batch梯度下降时，不一定每次都降低，但是总的趋势是下降的；
2. Mini-batch的大小设为m（总样本数）时，变成了batch梯度下降（训练慢当样本总数大时），当设为1，变成了随机梯度下降（这时没能很好利用多样本的向量化的优势，也会导致变慢）。所示实际中选择不大不小的mini-batch尺寸，下降速度达到最快；
3. 不管是随机梯度下降还是mini-batch梯度下降都不会达到收敛，所以后期需要减小学习率来使其趋向收敛；
4. 当样本数小于2000时可直接使用batch梯度下降，当样本数很大时，一般把mini-batch的大小设为2的n次方，比如64,126,512等，这样是考虑到电脑内存设置和使用方法；
5. 在调参mini-batch的大小时常常设置2的不同次方。

指数加权平均数

1. 公式：
   $$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$$
   $$\{\begin{array}{l}{v}_{100}=0.9v_{99}+0.1{\theta }_{100}\\ v_{99}=0.9v_{98}+0.1{\theta }_{99}\\ v_{98}=0.9v_{97}+0.1{\theta }_{98}\\ v_{100}=0.9v_{99}+0.1{\theta }_{100}\end{array}\Rightarrow v_{100}=0.1{\theta }_{100}+0.1\ast 0.9{\theta }_{99}+0.1\ast (0.9{)}^2{\theta }_{98}+0.1\ast (0.9{)}^3{\theta }_{97}+...$$
2. vt是迭代得到的，最初令其为0，一步步迭代计算，但最后是一种平均数，我们用这种平均数来代替$\theta$。可以认为我们由原来以往变化趋势乘以一个权重$\beta$，和当下的变化乘权重$1-\beta$，这样可以两者之和表现出一部分现在的变化，同时也更表现出了以往的一种应该发展的趋势；
3. 指数加权平局数公式的好处之一：它只占用极少的内存，电脑内存只占一行数字而已，不断的覆盖就可以了。当然它不是最好的，也不是最精确的。如果要计算移动窗，可以直接计算过去10天或者50天的和，再除以10或者50就好，如此往往得到更好的估测。但缺点是，必须占用更多的内存，执行更加复杂；
4. 指数加权平均的求解过程实际上是一个递推的过程，那么这样就会有一个非常大的好处，每当我要求从0到某一时刻（n）的平均值的时候，我并不需要像普通求解平均值的作为，保留所有的时刻值，类和然后除以n。而是只需要保留0-(n-1)时刻的平均值和n时刻的温度值即可。也就是每次只需要保留常数值，然后进行运算即可，这对于深度学习中的海量数据来说，是一个很好的减少内存和空间的做法；
5. 指数加权平均数的偏差修正，即按照之前的公式算出$v_t$之后，再除以$1-{\beta }^t$,如下所示：
   $$\{\begin{array}{l}{v}_t=\beta v_{t-1}+(1-\beta ){\theta }_t\\ v_t^{correct}=\frac{v_t}{1-{\beta }^t}\end{array}$$

Momentum

1. momentum梯度下降总是会比标准的梯度下降要快。基本的想法是，计算梯度的指数加权平均数，并利用该梯度更新权重：
   $$\{\begin{array}{l}{v}_{dw}=\beta v_{dw}+(1-\beta )dw\\ v_{db}=\beta v_{db}+(1-\beta )db\\ w=w-\alpha v_{dw},b=b-\alpha v_{db}\end{array}$$
2. 假如将算法的优化比作小球从山上下降的过程，那么梯度下降方法就像是小球每次在某 一个位置，先找到眼下坡度最陡峭的地方然后从那里下降，之后到达新的位置，速度减为零，重新寻找最陡峭的地方，如此以往到达最底部。而动量法则是每次保留上次下降时的速度，然后在新的位置，寻找到最陡峭的地方，结合上次的速度下降。所以动量法在梯度下降的基础上累计了之前梯度方向的衰减值，并且结合累计的梯度方向和新计算的梯度方向共同决定下一步的移动方向，与经典的梯度下降算法不同的是，动量法更倾向于保持在相同方向上前进，以防止震荡的产生；
3. 梯度下降算法每次迭代就重新计算梯度方向，并沿着新的梯度方向下降，而动量法则是在上一次梯度的基础上进行修正，得到新的下降方向，需要指出的是动量法在一定程度上克服了海森矩阵的病态问题；
4. 是否进行偏差修正影响不大，$\beta$取0.9是一个比较好的参数，学习率α会随之β的修改做一定的修改；
5. 当本次梯度下降的方向与上次更新量的方向相同时，上次的更新量能够对本次的搜索起到一个正向加速的作用，当本次梯度下降的方向与上次更新量的方向相反时，上次的更新量能够对本次的搜索起到一个减速的作用。

RMSprop

1. RMSprop 算法采用移动平均，以指数衰减的速度丢弃遥远的历史梯度，可以削弱某些维度梯度更新波动较大的情况：
   $$\{\begin{array}{l}{S}_{dw}=\beta S_{dw}+(1-\beta )d{w}^2\\ S_{db}=\beta S_{db}+(1-\beta )d{b}^2\\ w=w-\alpha \frac{dw}{\sqrt{S_{dw}}+ϵ},b=b-\alpha \frac{db}{\sqrt{S_{db}}+ϵ}\end{array}$$

2. 同时引入了一个新的超参数$\beta$，用于移动平均，一般设为0.9。RMSprop将微分项进行平方，然后使用平方根进行梯度更新，同时为了确保算法不会除以0，平方根分母中在实际使用会加入一个很小的值$ϵ$。

Adam

1. Adam（Adaptive Moment Estimation）优化算法的基本思想就是将 Momentum 和 RMSprop 结合起来形成的一种适用于不同深度学习结构的优化算法：
   $$\{\begin{array}{l}{v}_{dw}={\beta }_1{v}_{dw}+(1-{\beta }_1)dw\\ v_{db}={\beta }_1{v}_{db}+(1-{\beta }_1)db\\ S_{dw}={\beta }_2{S}_{dw}+(1-{\beta }_2)d{w}^2\\ S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)d{b}^2\\ v_{dw}^{corret}=\frac{v_{dw}}{1-{\beta }_1^t},v_{db}^{corret}=\frac{v_{db}}{1-{\beta }_1^t}\\ S_{dw}^{corret}=\frac{S_{dw}}{1-{\beta }_2^t},S_{db}^{corret}=\frac{S_{db}}{1-{\beta }_2^t}\\ w=w-\alpha \frac{v_{dw}^{corret}}{\sqrt{S_{dw}^{corret}+ϵ}},b=b-\alpha \frac{v_{db}^{corret}}{\sqrt{S_{db}^{corret}+ϵ}}\end{array}$$
2. 参数更新的时候，注意此时一般的${\beta }_1$取0.9，${\beta }_2$取0.999。

AdaBound

它给学习率划出动态变化的界限，让实现从Adam到SGD的渐进和平滑过渡，让模型在开始阶段有和Adam一样快的训练速度，后期又能保证和SGD一样稳定的学习率。
这种思路是受到2017年Salesforce的研究人员的启发。他们通过实验发现，Adam后期的学习率太低影响了收敛结果。如果控制一下Adam的学习率的下限，实验结果会好很多。
对学习率的控制就和梯度裁剪差不多。在防止梯度爆炸问题上，我们可以剪掉大于某个阈值的梯度。同样的，我们也可以剪裁Adam学习率实现AdaBound。
在上面的公式中，学习率被限制在下限 ${\eta }_l$ 和上限 ${\eta }_u$之间。当${\eta }_l={\eta }_u=\alpha$时，就是SGD算法；当${\eta }_l=0$, ${\eta }_u=\infty$时，就是Adam算法。
为了实现从Adam到SGD的平滑过渡，让 ${\eta }_l$和${\eta }_u$变成随时间变化的函数：${\eta }_l$ 递增从0收敛到α，${\eta }_u$从∞递减收敛到α。
在这种情况下，AdaBound开始时就像Adam一样训练速度很快，随着学习率边界越来越受到限制，它又逐渐转变为SGD。

学习率衰减

1. 常用：
   $$\alpha =\frac{1}{1+deca{y}_{r}ate\ast epoch\_num}{\alpha }_0$$
2. 指数衰减：
   $$\alpha =0.95^{epoch\_num}{\alpha }_0$$
3. 其它：
   $$\alpha =\frac{k}{epoch\_num}{\alpha }_0$$
4. 离散衰减

局部最优问题

1. 在低维（如二维）可能陷入局部最优；
2. 但是在高维中，比如20000维，陷入局部最优的概率是$2^{-20000}$（即每一维度都梯度为零，几乎不可能），所以更多的时候是出现处在鞍点上（鞍点处，在某些方向上是峰顶，在其他方向上是谷底）；
3. 存在的问题是：在平稳端学习缓慢，上面提到的算法如Adam,能够更快的走出平稳区。