【吴恩达深度学习笔记】2.2 优化算法Optimization algorithms

第二门课 改善深层神经网络：超参数调试、正则化以及优化（Improving Deep Neural Networks:Hyperparameter tuning,Regularization and Optimization）

2.1Mini-batch梯度下降（Mini-batch gradient descent）

优化算法将加快神经网络的运行，加快训练模型。深度学习没有在大数据领域发挥最大的效果，我们可以利用一个巨大的数据集训练神经网络，但这样训练速度很慢，使用快速的优化算法可以大大提高效率。

把训练集分割成小一点的子集训练，这些子集取名为mini-batch。若有500万个样本的训练集，每个子集中只有1000个样本，把$x^{(1)}$到$x^{(1000)}$取出称为第一个子训练集即mini-batch，称为 X { 1 } X^{\{1\}} X{1}，$x^{(1001)}$到$x^{(2000)}$称为 X { 2 } X^{\{2\}} X{2}，直到 X { 5000 } X^{\{5000\}} X{5000}，$Y$也做同样的处理，把$y^{(1)}$到$y^{(1000)}$称为 Y { 1 } Y^{\{1\}} Y{1}，直到 Y { 5000 } Y^{\{5000\}} Y{5000}。mini-batch的数量$t$组成了 X { t } X^{\{t\}} X{t}和 Y { t } Y^{\{t\}} Y{t}。 X { t } X^{\{t\}} X{t}和 Y { t } Y^{\{t\}} Y{t}的维数分别为$(n_x,1000)$和$(1,1000)$。

batch梯度下降法即之前讲的梯度下降算法，指同时处理全部$X$和$Y$训练集，mini-batch梯度下降法每次同时处理单个的mini-batch X { t } X^{\{t\}} X{t}和 Y { t } Y^{\{t\}} Y{t}。mini-batch梯度下降（在单个mini-batch上计算）的一次迭代快于梯度下降的迭代。如果你有一个丢失的训练集，mini-batch梯度下降法比batch梯度下降法运行地更快。注意：矢量化不适用于同时计算多个mini-batch。

在训练集上运行mini-batch梯度下降法，运行$fortinrange(1,5000)$，每次处理1000个样本，因为子集的规模是1000，在for循环中对 X { t } X^{\{t\}} X{t}和 Y { t } Y^{\{t\}} Y{t}执行一步梯度下降法：

i n p u t :   X { t } = A [ 0 ] input:\space X^{\{t\}}=A^{[0]} input: X{t}=A[0]

前向传播（$l\in [1,l]$）：

$$Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$$

$$A^{[l]}=g^{[l]}(Z^{[l]})$$

运用正则化计算成本函数$J$（$L({\hat{y}}^{(i)},y^{(i)})$指来自 X { t } X^{\{t\}} X{t}和 Y { t } Y^{\{t\}} Y{t}的样本）:

J { t } = 1 1000 ∑ i = 1 l L ( y ^ ( i ) , y ( i ) ) + λ 2 ∗ 1000 ∑ l ∥ w [ l ] ∥ F 2 J^{\{t\}}=\frac{1}{1000}\sum^l_{i=1}L(\hat y^{(i)},y^{(i)})+\frac{\lambda}{2*1000}\sum_l\|w^{[l]}\|^2_F J{t}=10001​i=1∑l​L(y^​(i),y(i))+2∗1000λ​l∑​∥w[l]∥F2​

反向传播计算 J { t } J^{\{t\}} J{t}梯度

更新参数：

$$W^{[l]}:=W^{[l]}-\alpha d{W}^{[l]}$$

$$b^{[l]}:=b^{[l]}-\alpha d{b}^{[l]}$$

2.2理解Mini-batch梯度下降法（Understanding Mini-batch gradient descent）

使用mini-bratch梯度下降法并不是每次迭代都是下降的，成本函数 J { t } J^{\{t\}} J{t}只和 X { t } X^{\{t\}} X{t}和 Y { t } Y^{\{t\}} Y{t}有关，每次迭代都在训练不同的样本集或者说是训练不同的mini-bratch，其成本函数图像整体走向朝下，但是存在噪声。

需要确定mini-bratch的大小，$m$为训练集大小，极端情况下

• 若mini-bratch=m，即bratch梯度下降法，其成本函数曲线相对噪声小，下降幅度大，若训练样本大，单次迭代耗时长。
• 若mini-bratch=1，称为随机梯度下降法，每个样本都是独立的mini-bratch，其成本函数曲线存在很多噪声，最终会靠近最小值，有时也会方向错误，永远无法收敛。通过减小学习速率，噪声会有所减小，整体效率低。

实际要取合适的mini-bratch尺寸，若训练集很小（m<2000）直接使用batch梯度下降法，若训练集很大，一般取mini-bratch为64到512，是2的$n$次方。

2.3指数加权平均数（Exponentially weighted averages）

加权平均数：$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$，其中$\beta$是超参数，${\theta }_t$是新加入的数据，$v_{t-1}$是上一个加权平均数。计算时可视$v_t$为$\frac{1}{(1-\beta )}$的平均数，如$\beta =0.9$，这是十个数据的平均值，若$\beta$增大，平均数据曲线会波动很小，更加平坦。因为$\beta$增大相当于给之前的数据加了太多权重。统计学中指数加权平均数被称为指数加权移动平均数。

下图中蓝色点代表数据，当$\beta =0.98$时均值曲线为绿线，当$\beta =0.9$时均值曲线为红线，当$\beta =0.5$时均值曲线为黄线。

2.4理解指数加权平均数（Understanding exponentially weighted averages）

令$\beta =0.9$，有下列公式：$$v_{100}=0.9v_{99}+0.1{\theta }_{100}$$

$$v_{99}=0.9v_{98}+0.1{\theta }_{99}$$

$$v_{98}=0.9v_{97}+0.1{\theta }_{98}$$

$$\cdot \cdot \cdot \cdot \cdot \cdot$$

将$v_{100}$展开：$$v_{100}=0.1{\theta }_{100}+0.1\times 0.9{\theta }_{99}+0.1\times (0.9{)}^2{\theta }_{98}+0.1\times (0.9{)}^3{\theta }_{97}+...$$

这些$\theta$之前的所有系数相加为1或者逼近1，称为偏差修正。

$0.9^{10}\approx 0.35\approx \frac{1}{e}$，${\beta }^{\frac{1}{1-\beta }}\approx \frac{1}{e}$，通过10个数据，曲线的高度下降到相当于峰值的$\frac{1}{e}$。

实际执行中，要将$v_{\theta }$初始化为0，然后拿到第$t$个数据，把$v$更新为$v:=\beta v_{\theta }+(1-\beta ){\theta }_t$。

指数加权平均数公式的新数据代入公式进行覆盖，所有其占用极少内存，但是需要保存所有最近的数据和过去数据的总和就要占用更多的内存，执行更加复杂，计算成本也更高。

2.5指数加权平均的偏差修正（Bias correction in exponentially weighted averages）

偏差修正可以让平均数运算更加准确。由于初始化时$v_0=0$，导致$v_1=(1-\beta ){\theta }_1$，得到的数会小很多，前几个数据估测不准。

在估测初期，使用$\frac{v_t}{1-{\beta }^t}$代替$v_t$。例如第二个数据的估测值为$\frac{v_2}{1-{\beta }^2}=\frac{\beta (1-\beta ){\theta }_1+(1-\beta ){\theta }_2}{1-{\beta }^2}$，也即${\theta }_1$和${\theta }_2$的加权平均数，并去除了偏差。随着$t$的增大，${\beta }^t$接近0，所以当$t$很大时，偏差修正基本没作用。

机器学习中大部分人不在乎初期得到偏差的估测，继续计算后面部分，若你关注初期时的偏差可以使用偏差修正。

2.6动量梯度下降法（Gradient descent with Momentum）

动态梯度下降算法（Momentem）运行速度总是快于标准的梯度下降法，基本思想是计算梯度的指数加权平均数，利用该梯度更新权重。

假如你想优化成本函数，函数形状如图，红点表示最小值位置，利用梯度下降法的得到蓝色曲线，上下波动减慢了梯度下降的速度。若使用较大的学习率得到紫色曲线，结果可能会偏离函数范围。为了避免摆动过大需要使用较小的学习率。而我们想纵轴上使用小的学习率减小摆动，横轴上使用大的学习率加快学习，由此使用动量梯度下降法。

2.7均方根（RMSprop）

RMSprop（root mean square prop）算法可以加速梯度下降。实现步骤：$$S_{dW}=\beta S_{dW}+(1-\beta )d{W}^2$$

$$S_{db}=\beta S_{db}+(1-\beta )d{b}^2$$

$$W:=W-\alpha \frac{dW}{\sqrt{S_{dW}}}$$

$$b:=b-\alpha \frac{db}{\sqrt{S_{db}}}$$

其中$d{W}^2$和$d{b}^2$是指对整个微分进行平方

2.8Adam优化算法（Adam optimization algorithm）

Adam（Adaptive Moment Estimation）优化算法将Momentum和RMSprop结合起来。

初始化：$$V_{dw}=0,S_{dW}=0,v_{db}=0,S_{db}=0$$

在第$t$次迭代中，使用当前的mini-bratch计算$dW,db$：

$$v_{dW}={\beta }_1{v}_{dW}+(1-{\beta }_1)dW,v_{db}={\beta }_1{v}_{db}+(1-{\beta }_1)db$$

$$S_{dW}={\beta }_2{S}_{dW}+(1-{\beta }_2)d{W}^2,S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)d{b}^2$$

$$v_{dW}^{corrected}=\frac{v_{dW}}{1-{\beta }_1^t},v_{db}^{corrected}=\frac{v_{db}}{1-{\beta }_1^t}$$

$$S_{dW}^{corrected}=\frac{S_{dW}}{1-{\beta }_2^t},S_{db}^{corrected}=\frac{S_{db}}{1-{\beta }_2^t}$$

$$W:=W-\alpha \frac{V_{dW}^{corrected}}{\sqrt{S_{dW}^{corrected}+ϵ}},b:=b-\alpha \frac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}+ϵ}}$$

Momentum：${\beta }_1$的缺省值为0.9，这是$dW$的移动加权平均值（第一矩）

Adam：${\beta }_2$的缺省值为0.999，这是$d{W}^2$和$d{b}^2$的移动加权平均值（第二矩）

$ϵ$取值多少不重要，通常为$10^{-8}$

2.9学习率衰减（Learning rate decay）

学习率衰减可以加快学习算法，指随时间慢慢减少学习率。慢慢减少$\alpha$的本质在于，在学习初期能承受较大的步伐，但当开始收敛的时候小一些的学习率能让步伐小一些。

$$\alpha =\frac{1}{1+decayrate\ast epochnum}{\alpha }_0$$

decay-rate为衰减率，是超参数，epoch-num为代数，${\alpha }_0$为初始学习率。

其他学习率衰减方法：

• 指数衰减$\alpha =0.95^{epoch-num}{\alpha }_0$
• $\alpha =\frac{k}{\sqrt{epoch-num}}$
• $\alpha =\frac{k}{\sqrt{t}}{\alpha }_0$（$t$为mini-bratch的数字）
• 离散下降（discrete stair cease）的学习率：一段时间后学习率减少一半，一段时间后又减少一半，一段时间后又减少一半

2.10局部最优的问题（The problem local optima）

灵魂画家哈哈哈哈：

事实上你不太可能困在极差的局部最优中，条件是你在训练较大的神经网络，存在大量参数，并且成本函数被定义在较高的维度空间。

平稳段是一个问题，这样使得学习十分缓慢，这也是像Momentum或是RMSprop，Adam这样的算法，能够加速学习算法的地方。在这些情况下，更成熟的优化算法，如Adam算法，能够加快速度尽早往下走出平稳段。