2020-6-3 吴恩达-改善深层NN-w2 优化算法(2.8 Adam 优化算法--将Momentum和RMSprop结合在一起)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

2.8 Adam 优化算法 Adam optimization algorithm

在DL的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种NN，时间久了，DL圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化算法。

不过RMSprop以及Adam优化算法，就是少有的经受住人们考验的两种算法，已被证明适用于不同的DL结构，很多人都试过，并且用它很好地解决了许多问题。

Adam优化算法基本上就是将Momentum和RMSprop结合在一起。

使用Adam算法步骤如下

step1
首先你要初始化，$v_{dW}=0$，$S_{dW}=0$，$v_{db}=0$，$S_{db}=0$

step2
一般你会用mini-batch梯度下降法，在第 $t$ 次迭代中，你要计算微分，用当前的mini-batch计算 $dW$ 和 $db$。

step3
接下来使用超参 ${\beta }_1$ 计算Momentum指数加权平均数

• $v_{dW}={\beta }_1{v}_{dW}+(1-{\beta }_1)dW$
• $v_{db}={\beta }_1{v}_{db}+(1-{\beta }_1)db$

step4
接着你用RMSprop进行更新，使用不同的超参数 ${\beta }_2$

• $S_{dW}={\beta }_2{S}_{dW}+(1-{\beta }_2)d{W}^2$
• $S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)d{b}^2$

以上相当于Momentum更新了超参 ${\beta }_1$，RMSprop更新了超参 ${\beta }_2$。

step5
一般使用Adam算法的时候，要计算偏差修正，$v_{dW}^{corrected}$ 和 $v_{db}^{corrected}$

• $v_{dW}^{corrected}=\frac{v_{dW}}{1-{\beta }_1^t}$
• $v_{db}^{corrected}=\frac{v_{db}}{1-{\beta }_1^t}$
• $S_{dW}^{corrected}=\frac{S_{dW}}{1-{\beta }_2^t}$
• $S_{db}^{corrected}=\frac{S_{db}}{1-{\beta }_2^t}$

step6
最后更新权重，所以

• $W:=W-\alpha \frac{v_{dW}^{corrected}}{\sqrt{S_{dW}^{corrected}}+ϵ}$
• $b:=b-\alpha \frac{v_{db}^{corrected}}{\sqrt{S_{db}^{corrected}}+ϵ}$

如果你只是用Momentum，只使用 $v_{dW}$ 或者修正后的 $v_{dW}$，但现在我们加入了RMSprop的部分，所以我们要除以修正后 $S_{dW}$ 的平方根加上 $ϵ$ 。

Adam算法结合了Momentum和RMSprop梯度下降法，并且是一种极其常用的学习算法，被证明能有效适用于不同NN，适用于广泛的结构。

本算法中有很多超参

• 学习率 $\alpha$ 很重要，也经常需要调试，你可以尝试一系列值，然后看哪个有效。
• ${\beta }_1$ 常用的缺省值为0.9，这是 $dW$ 的移动平均数，或者说加权平均数，这是Momentum涉及的项。
• ${\beta }_2$ ，Adam论文作者，也就是Adam算法的发明者，推荐使用0.999，这是在计算 $d{W}^2$和 $d{b}^2$ 的移动加权平均值。
• $ϵ$，Adam论文的作者建议为 10^-8，它并不会影响算法表现。

我觉得没人会去调整$ϵ$，但是会尝试不同的$\alpha$值，看看哪个效果最好。你也可以调整 ${\beta }_1$ 和 ${\beta }_2$，但我认识的业内人士很少这么干。

为什么这个算法叫做Adam？

Adam代表的是Adaptive Moment Estimation，${\beta }_1$ 用于计算微分 $dW$，叫做第一矩。${\beta }_2$ 用来计算平方数的指数加权平均数 $d{W}^2$，叫做第二矩。

Adam的名字由此而来，但是大家都简称Adam权威算法。