优化算法（吴恩达深度学习课程）-- 2018.11.02笔记

优化算法（吴恩达深度学习课程）

1. batch梯度下降

   • 使用batch梯度下降时，每次迭代你都需要遍历整个训练集，可以预期每次成本都会下降，所以如果成本函数 $J$ 是迭代次数的一个函数，它应该会随着每次迭代而减少，如果某次迭代中增加了，那肯定是出了问题，也许你的学习率太大

2. mini-batch

   • 每次迭代下你都在训练不同的样本集或者说训练不同的mini-batch，如果你要作出成本函数 $J$ 的图，你很可能会看到如下图的结果，没有每次迭代都下降是不要紧的，但走势应该向下，噪声产生的原因在于也许 $X^1$和 $Y^1$ 是比较容易计算的mini-batch，因此成本会低一些。不过也许出于偶然，$X^2$ 和$Y^2$ 是比较难运算的mini-batch，或许你需要一些残缺的样本，这样一来，成本会更高一些，所以才会出现这些摆动，因为你是在运行mini-batch梯度下降法作出成本函数图。
     
   • mini-batch的大小问题（m是训练集大小）如下图
     • 如果mini-batch的大小是m(蓝线)，其实就是batch梯度下降法；
     • 如果mini-batch的大小是1(紫线)，就有了新的算法，叫做随机梯度下降。
     • 如果mini-batch的大小是(1, m)之间的(绿线)，则他不会总朝向最小值附近，但它比随机梯度下降要更持续地靠近最小值的方向。
     • 如果mini-batch大小事2的n次方，代码会运行快一些，可以尝试不同的值，64和512的mini-batch比较常见
       
   • Stochastic gradient descent(随机梯度下降)
     • 随机梯度下降法是有很多噪声的
     • 随机梯度下降法永远不会收敛，而是会一直在最小值附近被拨动，但它并不会在达到最小值并停留在此
   • X { t } X^{\{t\}} X{t} 和 Y { t } Y^{\{t\}} Y{t} 要符合CPU/GPU内存，否则不管用什么方法处理数据，会使算法的表现急转直下变得惨不忍睹

3. 加权平均数(指数加权移动平均)

   • $v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$
   • 当 $\beta ={\beta }_0$ 的时候，相当于平均了大约前面 $\frac{1}{(1-{\beta }_0)}$ 天的数据

4. 偏差修正（指数加权平均的偏差修正）
   

   • 因为计算移动平均数的时候，初始化 $v_0=0$ , $v_1=0.98v_0+0.02{\theta }_1$ ，但是 $v_0=0$ ，所以这部分没有了（ $0.98{\theta }_0$ ），所以 $v_1=0.02{\theta }_1$，所以如果一天温度是40华氏度，那么 $v_1=0.02{\theta }_1=0.02\times 40=8$ ，因此得到的值会小很多，所以第一天温度的估测不准。 $v_2=0.98v_1+0.02{\theta }_2$ ，如果代入 $v_1$ ，然后相乘，所以 $v_2=0.98\times 0.02{\theta }_1+0.02{\theta }_2=0.0196{\theta }_1+0.02{\theta }_2$ ，假设 ${\theta }_1$ 和 ${\theta }_1$ 都是正数，计算后 $v_2$ 要远小于 ${\theta }_1$ 和 ${\theta }_2$ ，所以 $v_2$ 不能很好估测出这一年前两天的温度。
   • 偏差修正的办法：在估测初期，不用 $v_t$ ，而是用 $\frac{v_t}{1-{\beta }^t}$ ，$t$ 就是现在的天数。举个具体例子，当 $t=2$ 时， $1-{\beta }^t=1-0.98^2=0.0396$ ，因此对第二天温度的估测变成了 $\frac{v_2}{0.0396}=\frac{0.0196{\theta }_1+0.02{\theta }_2}{0.0396}$ ，也就是 ${\theta }_1$ 和 ${\theta }_2$ 的加权平均数，并去除了偏差。你会发现随着 $t$ 增加，${\beta }_t$ 接近于 $\theta$ ，所以当 $t$ 很大的时候，偏差修正几乎没有作用，因此当 $t$ 较大的时候，紫线基本和绿线重合了。不过在开始学习阶段，你才开始预测热身练习，偏差修正可以帮助你更好预测温度，偏差修正可以帮助你使结果从紫线变成绿线。

5. Gradient descent with Momentum(动量梯度下降法)

   • 动量梯度下降法，运行速度几乎总是快于标准的梯度下降法。简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重。$\beta$ 一般设置为0.9
     

6. RMSprop
   On iteration t:
   compute $\mathrm{d}\mathrm{W}$, $\mathrm{d}\mathrm{b}$ on the current mini-batch
   $${\mathrm{S}}_{\mathrm{d}\mathrm{w}}=\beta {\mathrm{S}}_{\mathrm{d}\mathrm{w}}+(1-\beta )\mathrm{d}{\mathrm{W}}^2$$
   $${\mathrm{S}}_{\mathrm{d}\mathrm{b}}=\beta {\mathrm{S}}_{\mathrm{d}\mathrm{b}}+(1-\beta )\mathrm{d}{\mathrm{b}}^2$$
   $$\mathrm{W}:=\mathrm{W}-\alpha \frac{\mathrm{d}\mathrm{w}}{\sqrt{{\mathrm{S}}_{\mathrm{d}\mathrm{w}}}}$$
   $$\mathrm{b}:=\mathrm{b}-\alpha \frac{\mathrm{d}\mathrm{b}}{\sqrt{{\mathrm{S}}_{\mathrm{d}\mathrm{b}}}}$$

7. Adam(Adaptive Moment Estimation)

   • Adam算法基本就是将Momentum和RMSprop结合在一起，并且是一种极其常用的学习算法，被证明能有效使用于不同的神经网络，适用于广泛的结构
     
     

8. 学习率衰减

   • 在迭代过程中会有噪音（蓝色线），下降朝向这里的最小值，但是不会精确地收敛，所以你的算法最后在附近摆动，并不会真正收敛，因为你用的a是固定值，不同的mini-batch中有噪音。
   • 如果你想用学习率衰减，要做的是要去尝试不同的值，包括超参数a0，以及超参数衰退率，找到合适的值。

9. 局部最优的问题

   • 你要创建一个神经网络，通常梯度为零的点并不是这个图中的局部最优点，实际上成本函数的零梯度点，通常是鞍点。
   • 如果你有2万个参数，那么 $J$ 函数有2万个维度向量，你更可能遇到鞍点，而不是局部最优点。如果局部最优不是问题，那么问题是什么？结果是平稳段会减缓学习，平稳段是一块区域，其中导数长时间接近于0，如果你在此处，梯度会从曲面从从上向下下降，因为梯度等于或接近0，曲面很平坦，你得花上很长时间慢慢抵达平稳段的这个点，因为左边或右边的随机扰动。你不太可能困在极差的局部最优中，条件是你在训练较大的神经网络，存在大量参数，并且成本函数 $J$ 被定义在较高的维度空间。第二点，平稳段是一个问题，这样使得学习十分缓慢，这也是像Momentum或是RMSprop，Adam这样的算法，能够加速学习算法的地方。在这些情况下，更成熟的优化算法，如Adam算法，能够加快速度，让你尽早往下走出平稳段。