第二周：优化算法

本文是改善深层神经网络的笔记。

本章中还存在的问题：指数加权平均的偏差修正的原理？

2.0 重点

本章的主旨在于学习一些可以提高训练速度的算法，大部分都是基于提高学习率。
在Mini-batch之后，我们学习了指数加权平均，之后我们学习了Momentum、RMSprop和两者结合的Adam，最后我们研究了学习率衰减。

2.1 Mini-batch 梯度下降法

为了避免一次将所有的样本全部喂进去太慢。我们引入Mini-batch：

• 记：$$X=[x^{(1)},x^{(2)},\dots ,x^{(1000)}|x^{(1001)},x^{(1002)},\dots ,x^{(2000)}|\dots ]$$
  $$Y=[y^{(1)},y^{(2)},\dots ,y^{(1000)}|x^{(1001)},y^{(1002)},\dots ,y^{(2000)}|\dots ]$$
• 记 x { t } x^{\{t\}} x{t} y { t } y^{\{t\}} y{t}第t个Mini-batch。这里我们不妨取1000个样本作为一个Batch。因此，我们有

X = [ x { 1 } ∣ x { 2 } ∣ … ∣ x { 5000 } ] X=[x^{\{1\}}|x^{\{2\}}|\dots|x^{\{5000\}}] X=[x{1}∣x{2}∣…∣x{5000}]

Y = [ y { 1 } ∣ y { 2 } ∣ … ∣ y { 5000 } ] Y=[y^{\{1\}}|y^{\{2\}}|\dots|y^{\{5000\}}] Y=[y{1}∣y{2}∣…∣y{5000}]

• 因此，对于Mini-Batch的训练过程为
  

2.2 理解Mini-batch梯度下降法

Batch和Mini-batch在Cost图像上的区别

• 如果我们每次训练都跑完所有的数据，则CostFunction里面考虑了所有的数据，所以通过调节$w$它的函数值一定随着每代都下降。
• 但如果我们使用的MiniBatch，则我们此次下降的方向可能与下次下降的方向不同，因此会整Cost的值会振动。
  

分类

记总样本数为$m$

• Mini-batch size=m: Batch Gradient Descent（速度慢，因为要考虑到所有的数据）
• Mini-batch size=1: Stochastic Gradient Descent （噪声太大，因此需要调小学习率）

因此，在实践中，我们选择大小适中的MiniBatchSize和学习率。

上图中，紫色的是(SGD)，蓝色的是Batch，绿色的是大小适中的MiniBatch。

Mini-Batch大小的选择

• $m\le 2000$：数据少，使用Batch Gradient Descent
• 一般选用64,128,256,516
• 确保minibatch fit in CPU/GPU memory❓❓

2.3 指数加权平均（Exponentially Weighted Avg）

为了介绍更好的梯度下降算法

• 例子：London的温度
  • 记${\theta }_t$为第t天的温度。
    $$V_t=\beta V_{t-1}+(1-\beta ){\theta }_t$$
• 当$\beta$越大，之前的样本衰减越慢，即延迟效果越明显，曲线更加平滑。
• 当$\beta$越小，越接近原始数据${\theta }_t$

Python模拟：

# 比较不同的beta值的影响
theta = [np.sqrt(i)+np.random.randn() for i in range(250)]

# vt = beta*v(t-1)+(1-beta)theta(t)
beta={0.5,0.9}
plt.figure(figsize=(10,6))
plt.plot(theta,label="Raw Data")
for beta in beta:
    v=[theta[0]]
    for i in range(1,len(theta)):
        v.append(beta*v[-1]+(1-beta)*theta[i])
    plt.plot(v,label=f"beta = {beta}")
plt.grid()
plt.legend()
plt.show()

2.4 ⚠️理解指数加权平均

• Recap:
  $$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$$
  其中${\theta }_t$是t时刻的样本。

• 例子:
  $v_0={\theta }_0$
  $v_1=\beta {\theta }_0+(1-\beta ){\theta }_1$
  $v_2={\beta }^2{\theta }_0+\beta (1-\beta ){\theta }_1+(1-\beta ){\theta }_2$
  …
  $v_n={\beta }^n{\theta }_0+{\beta }^{n-1}(1-\beta ){\theta }_1+\cdots +(1-\beta ){\theta }_n$

• 如何理解参数$\beta$?
  我们认为$\beta$反映了均值考虑了多少天的数据:
  $$天数=lo{g}_{\beta }(\frac{1}{e})$$
  例如，如果$\beta =0.9$则$天数=lo{g}_{0.9}(\frac{1}{e})=9.49\approx 10天$

• 这个结论的来源：
  $$v_n=(1-\beta ){\theta }_n+(1-\beta )\beta {\theta }_{n-1}+(1-\beta ){\beta }^2{\theta }_{n-2}+\cdots +{\beta }^{n-1}(1-\beta ){\theta }_1+{\beta }^n{\theta }_0$$

我们认为，如果参数比原来的$\frac{1}{e}$还要小，我们就可以忽略它。

怎么实现？

• 一般我们把第一项设置为0, $v:=\beta v+(1-\beta ){\theta }_n$
• 一般我们不用数组存储，我们只要保存一个数字即可。从而比较节省空间。

与直接取平均的区别？

• 从计算时间和空间上来讲都更优一些。

2.5 指数加权平均的偏差修正

• 如果$v_0=0$则曲线会达到正常值会有一定的偏差：

理论值	40	49	45
预测值（无修正）	0.8	1.764	2.62
预测值（带修正）	40	1014.6	-

无修正下的预测：
取$\beta =0.98$
$v_0=0$
$v_1=\beta v_0+(1-\beta ){\theta }_1=0+(1-0.98)\ast 40=0.8$
$v_2=0.98\ast 0.8+0.02\ast 49=1.764$
$v_3=0.98\ast 1.764+0.02\ast 45=1.764$

有修正下的预测：
$v_0=0$
$v_1=(\beta v_0+(1-\beta ){\theta }_1)/(1-{\beta }^1)=\frac{0.8}{1-0.98^1}=40$
$v_2=\frac{0.98\ast 40+0.02\ast 49}{1-0.98^2}=1014.6$

• 修正方法：
  对分母进行修正：$$v_t=\frac{\beta v_{t-1}+(1-\beta ){\theta }_t}{1-{\beta }^t}$$
  ⚠️ 修正之后对于$\beta$的取值比较敏感,$\beta$的值不应该太大，避免不收敛:
  

2.6 ⚠️ 动量梯度下降法(Momentum)

• 为了选择较大的学习率(太大有可能发散)，并且避免震动的情况。

原理

这里我们又引入了一个超参数$\beta$，一般取0.9。这意味着，过了前10个数据，我们就可以获得正常的数据。

• 梯度计算
  首先通过Mini-batch计算出dw和db。
  $$vdw:=\beta vdw+(1-\beta )dw$$

$$vdb:=\beta vdb+(1-\beta )db$$

• 参数更新

$$W:=W-\alpha \times vdw$$

$$b:=b-\alpha \times vdb$$

直观解释：

• 解释一：
  鉴于我们每次计算的时候都考虑到了前面的多组数据，因此，一些不必要的震动将会被抵消。
  
• 解释二：
  梯度计算中的$vdw$可以看成是一个速度，
  $$vdw:=\beta vdw+(1-\beta )dw$$
  类比物理里面的公式$v(t)=v_{t-1}+a\Delta t$，可以把$dw$看成小球的加速度（因为它累计了之前的速度等数据）。因此，正因为小球有惯性，所以不容易改变方向。

2.7 RMSprop (Root Mean Square)

• 为了可以选择较大的学习率(太大有可能发散)，并且避免震动的情况。

原理

这里我们又引入了一个超参数${\beta }_2$。为了避免与Momentum的$\beta$重复。

• 梯度计算：
  首先通过Mini-batch计算出dw和db。
  $$Sdw:={\beta }_{2}Sdw+(1-{\beta }_2)d{w}^2$$

$$Sdb:={\beta }_{2}Sdb+(1-{\beta }_2)d{b}^2$$

• 参数更新：
  $$w:=w-\alpha \frac{dw}{\sqrt{Sdw+ϵ}}$$

$$b:=b-\alpha \frac{db}{\sqrt{Sdb+ϵ}}$$

$ϵ\approx 10^{-8}$为了避免分母为0。

直观解释：

• 如果在b方向上震荡的话，db会很大，从而$Sdb$很大。从而对比SGD中给出的参数更新的公式$b:=b-\alpha db$因为RMSprop对db除了一个很大的数字，所以更新的幅度更小一点。从而解决了震荡的问题。
• 当震动比较平缓的时候，Sdw这种就比较小，更新幅度就比较大。

2.8 Adam优化算法(Adaptive Moment Estimation)

• Adam = Momentum + RMSprop

部分超参数经验值：
学习率$\alpha$
Momentum ${\beta }_1=0.9$
RMSprop

${\beta }_2=0.999$
$ϵ=10^{-8}$

原理

// 初始化
Vdw = 0, Vdb = 0
Sdw = 0, Sdb = 0

• 对于每个MiniBatch t:

// 反向传播
计算出dw,db。

// “Momentum”
$$Vdw:={\beta }_{1}Vdw+(1-{\beta }_1)dw,Vdb:={\beta }_{1}Vdb+(1-{\beta }_1)db$$

// “RMSprop”
$$Sdw:={\beta }_{2}Sdw+(1-{\beta }_2)d{w}^2,Sdb:={\beta }_{2}Sdb+(1-{\beta }_2)d{b}^2$$

// 对于偏差进行修正
$$Vd{w}^{corrected}:=\frac{Vdw}{1-{\beta }_1^t},Vd{b}^{corrected}:=\frac{Vdb}{1-{\beta }_1^t}$$

$$Sd{w}^{corrected}:=\frac{Sdw}{1-{\beta }_2^t},Sd{b}^{corrected}:=\frac{Sdb}{1-{\beta }_2^t}$$

// 更新参数

$$w:=w-\alpha \frac{Vd{w}^{corrected}}{\sqrt{Sd{w}^{corrected}+ϵ}}$$

$$b:=b-\alpha \frac{Vd{b}^{corrected}}{\sqrt{Sd{b}^{corrected}+ϵ}}$$

2.9 学习率衰减

• 为什么要学习率衰减？
  在学习初期，我们离极值点比较远，所以我们可以使用较大的学习率。但随着我们靠近极值点，我们需要减少学习率以避免震动。

具体实现

1. $\alpha =\frac{1}{1+DecayRate\ast EpochNum}\ast {\alpha }_0$
   

2. Exponentially Decay
   $$\alpha =0.95^{EpochNum}{\alpha }_0$$
   

3. $\alpha =\frac{k}{\sqrt{EpochNum}}{\alpha }_0$
   

4. Discrete StairCase
   每过一代变化一下

2.10 局部最优的问题

• 实际上导数为0的点，大多为鞍点。所以不太可能陷入局部鞍点。
• 平缓段会延缓学习速率。

第二周测试重点：

1. 下面的图中
   【1】是普通的SGD
   【2】是$\beta$比较小的Momentum
   【3】是$\beta$比较大的Momentum