【吴恩达深度学习】测试2-2总结：优化算法

Mini-batch

1. [i] {j} (k)上标分别表示 第i层，第j小块，第k个示例

2. 优点：

• 能够进行向量化。
• 不用等整个数据集都计算后再梯度下降，单次迭代耗时短。

指数加权平均

1. $V_t=\beta V_{t-1}+(1-\beta ){\theta }_t$ （平均过去$\frac{1}{1-\beta }$天的数据）
2. $\beta$越大，曲线越平稳，也会稍微右移。
3. 优点：占用极少内存，只用一行代码，不断更新$V$值。
4. 偏差修正：$V_t^{corrected}=\frac{V_t}{1-{\beta }^t}$
   早期需要好的估测来修正，随着$t$的增大，${\beta }^t$逐渐趋于$0$，修正也不再起作用。

Momentum

（Gradient descent with momentum）动量梯度下降法

1. 基本思路：计算梯度的指数加权平均值，更新权重，加速梯度下降。
   上下摆动正负抵消，摆动变小，横轴平均值还很大，因此运动更快。
2. $V_{d\theta }=\beta V_{d\theta }=+(1-\beta )d\theta$
   $\theta =\theta -\alpha V_{d\theta }$
   $\beta =0.9$ (一般固定，平均前十次迭代)
   $\beta$越大，上下摆动越小。
3. 不用偏差修正，10次迭代后已经过了初始阶段，基本无偏差。
4. 想象成小球从坡上往下滚。小球的动量越来越大，过最低点后仍然会往前冲。

RMSprop

(root mean square propagation) 均方根反向传播

1. $S_{d\theta }=\beta S_{d\theta }=+(1-\beta )d^2\theta$

   $\theta =\theta -\alpha \frac{d\theta }{\sqrt{S_{d\theta }}+ϵ}$

   $ϵ=10^{-8}$ (使稳定，不为0)

2. 纵轴斜率大，因此除以一个大的数，会减缓纵轴摆动；
   横轴斜率小，因此除以一个小的数，会加速梯度下降。

Adam 优化算法

Adaptive Moment Estimation 自适应矩估计

1. 结合Momentum and RMSprop

2. $V_{d\theta }={\beta }_1{V}_{d\theta }=+(1-{\beta }_1)d\theta$
   $S_{d\theta }={\beta }_2{S}_{d\theta }=+(1-{\beta }_2)d^2\theta$

   $V_{d\theta }^{corrected}=\frac{V_{d\theta }}{1-{\beta }_1^t}$

   $S_{d\theta }^{corrected}=\frac{S_{d\theta }}{1-{\beta }_2^t}$

   $\theta =\theta -\alpha \frac{V_{d\theta }^{corrected}}{\sqrt{S_{d\theta }^{corrected}}+ϵ}$

   ${\beta }_1=0.9$, ${\beta }_2=0.999$,$ϵ=10^{-8}$

学习率衰减

1 epoch:遍历一次整个数据集
1 iteration:遍历batchsize的数据，进行一次梯度下降
学习开始可以承受较大的步伐，但开始收敛时，要减小步伐，因此需要学习率衰减。

$\alpha =\frac{1}{1+decay-rate\ast epoch-num}{\alpha }_0$

$\alpha =0.95^{epoch-num}{\alpha }_0$