吴恩达-deep learning 02.改善深层神经网络：优化算法 (Optimization algorithms)Week2

上一周介绍了如何建立一个实用的深度学习神经网络。包括：

• Train/Dev/Test sets的比例选择，Bias和Variance的概念和区别：Bias对应欠拟合，Variance对应过拟合。
• 防止过拟合的两种方法：L2 regularization和Dropout；如何进行规范化输入，以加快梯度下降速度和精度。
• 梯度消失和梯度爆炸的概念和危害，提出使用梯度初始化来降低这种风险。
• 梯度检查，来验证梯度下降算法是否正确。

本周将继续讨论深度神经网络中的一些优化算法，通过使用这些技巧和方法来提高神经网络的训练速度和精度。

---

2.1 Mini-batch 梯度下降（Mini-batch gradient descent）

1. 问题提出
   前一章神经网络训练是对所有样本$m$，称为batch，通过向量化计算方式，同时进行，我们将这种梯度下降算法称为Batch Gradient Descent。当$m$很大（达到百万数量级），训练速度往往会很慢（因为每次迭代都要对所有样本进行求和运算和矩阵运算）。

   为了解决这一问题，我们可以把$m$个训练样本分成若干个子集，称为$mini-batches$，这样每个子集包含的数据量就小了，每次在单一子集上进行神经网络训练，速度就会大大提高。这种梯度下降算法叫做Mini-batch Gradient Descent。

2. 字母上标含义

   • $X^{(i)}$ ：上标为小括号，表示第$i$个样本
   • $Z^{[l]}$：上标为中括号，表示神经网络第$l$层网络的输出
   • X { t } , Y { t } \color{red}X^{\{t\}},Y^{\{t\}} X{t},Y{t}：上标为大括号，表示第$t$组mini-batch的样本和标签

3. min-batch Gradient Descent 实例

   • 假设训练样本个数$m=5000000$，其维度为$(n_x,m)$。将其分成5000个子集，每个mini-batch含有1000个样本。

     每个mini-batch记为 X { t } \color{red}X^{\{t\}} X{t}，其维度为$(n_x,1000)$。相应的每个$mini-batch$的标签记为 Y { t } \color{red}Y^{\{t\}} Y{t}，其维度为$(1,1000)$，则 $t=1,2,\cdots ,5000$。

   • Mini-batches Gradient Descent的实现过程：先将总的训练样本分成$T$个子集（mini-batches），然后对每个mini-batch进行神经网络训练，包括a. Forward Propagation，b. Compute Cost Function，c. Backward Propagation , d. 更新$W^{[l]}$和$d^{[l]}$，循环至$T$个mini-batch都训练完毕。如下公式所示：
     f o r    t = 1 , ⋯   , T      a . F o r w a r d   P r o p a g a t i o n   o n   X { t } :         { z [ 1 ] = W [ 1 ] X { t } + b [ 1 ]           A [ 1 ] = g [ 1 ] ( Z [ 1 ] )             ⋮           A [ L ] = g [ L ] ( Z [ L ] ) }      b . C o m p u t e    C o s t    F u n c t i o n   o f   X { t } ,   Y { t } :         { J { t } = 1 1000 ∑ i = 1 l L ( y ^ ( i ) , y ( i ) ) + λ 21000 ∑ l ∣ ∣ w [ l ] ∣ ∣ F 2 }      c . B a c k w a r d    P r o p a g a t i o n   o f   J { t }      d . 更新 W [ l ] : = W [ l ] − α ⋅ d W [ l ]      e . 更新 b [ l ] : = b [ l ] − α ⋅ d b [ l ] \begin{array}{l} for\ \ t=1,\cdots,T\\ \ \ \ \ a. Forward\ Propagation\ on\ X^{\{t\}}:\\ \ \ \ \ \ \ \ \{ z^{\lbrack 1\rbrack} =W^{\lbrack 1\rbrack}X^{\{t\}} + b^{\lbrack 1\rbrack}\\ \ \ \ \ \ \ \ \ \ A^{[1]} =g^{[1]}(Z^{[1]})\\ \ \ \ \ \ \ \ \ \ \ \ \vdots\\ \ \ \ \ \ \ \ \ \ A^{\lbrack L\rbrack} = g^{\left\lbrack L \right\rbrack}(Z^{\lbrack L\rbrack})\}\\ \ \ \ \ b. Compute\; Cost\; Function\ of \ X^{\{t\}},\ Y^{\{t\}}:\\ \ \ \ \ \ \ \ \{ J^{\{t\}} = \frac{1}{1000}\sum_{i = 1}^{l}{L(\hat y^{(i)},y^{(i)})} +\frac{\lambda}{2 1000}\sum_{l}^{}{||w^{[l]}||}_{F}^{2}\}\\ \ \ \ \ c. Backward\; Propagation\ of\ J^{\{t\}}\\ \ \ \ \ d. \text{更新} W^{[l]}:=W^{[l]}-\alpha\cdot dW^{[l]}\\ \ \ \ \ e. \text{更新} b^{[l]}:=b^{[l]}-\alpha\cdot db^{[l]}\end{array} for  t=1,⋯,T    a.Forward Propagation on X{t}:       {z[1]=W[1]X{t}+b[1]         A[1]=g[1](Z[1])           ⋮         A[L]=g[L](Z[L])}    b.ComputeCostFunction of X{t}, Y{t}:       {J{t}=10001​∑i=1l​L(y^​(i),y(i))+21000λ​∑l​∣∣w[l]∣∣F2​}    c.BackwardPropagation of J{t}    d.更新W[l]:=W[l]−α⋅dW[l]    e.更新b[l]:=b[l]−α⋅db[l]​
     经过$T$次循环之后，所有$m$个训练样本都进行了梯度下降计算。这个过程，我们称之为经历了一个$epoch$。

4. 如何从训练集(X, Y)构建mini-batch GD

   • Shuffle（洗牌）:
     
   • Partition（划分）：
     

5. $Tip$:
   1. 对于Batch Gradient Descent而言，一个epoch只进行一次梯度下降算法；而Mini-Batches Gradient Descent，一个epoch会进行$T$次梯度下降算法。
   2. 对于Mini-Batches Gradient Descent，可以进行多次epoch训练。而且，每次epoch，最好是将总体训练数据重新打乱、重新分成$T$组mini-batches，这样有利于训练出最佳的神经网络模型。

---

2.2 理解mini-batch梯度下降法（Understanding mini-batch gradient descent）

1. 从cost function 角度理解
   Batch gradient descent和Mini-batch gradient descent的cost function曲线如下图所示：
   
   • 左图：对于一般的神经网络模型，使用Batch gradient descent，随着迭代次数增加，cost function是不断减小的。
   • 右图：使用Mini-batch gradient descent，随着在不同的mini-batch上迭代训练，其cost function不是单调下降，出现振荡。但整体的趋势是下降的，最终也能得到较低的cost function值。

   之所以出现细微振荡的原因是不同的mini-batch之间是有差异的。例如可能第一个子集 ( X { 1 } , Y { 1 } ) (X^{\{1\}},Y^{\{1\}}) (X{1},Y{1})是好的子集，而第二个子集 ( X { 2 } , Y { 2 } ) (X^{\{2\}},Y^{\{2\}}) (X{2},Y{2})包含了一些噪声noise。出现细微振荡是正常的。

2. 如何选择mini-batch size

   • 极端：

     • 如果mini-batch size=$m$((Batch) Gradient Descent)，只包含一个子集为 ( X { 1 } , Y { 1 } ) = ( X , Y ) (X^{\{1\}},Y^{\{1\}})=(X,Y) (X{1},Y{1})=(X,Y)；

       X = data_input
       Y = labels
       parameters = initialize_parameters(layers_dims)
       for i in range(0, num_iterations):
           # Forward propagation
           a, caches = forward_propagation(X, parameters)
           # Compute cost.
           cost = compute_cost(a, Y)
           # Backward propagation.
           grads = backward_propagation(a, caches, parameters)
           # Update parameters.
           parameters = update_parameters(parameters, grads)
       

     • 如果mini-batch size=$1$(Stochastic Gradient Descent)，每个样本就是一个子集 ( X { 1 } , Y { 1 } ) = ( x ( i ) , y ( i ) ) (X^{\{1\}},Y^{\{1\}})=(x^{(i)},y^{(i)}) (X{1},Y{1})=(x(i),y(i))，共有$m$个子集。

       X = data_input
       Y = labels
       parameters = initialize_parameters(layers_dims)
       for i in range(0, num_iterations):
           for j in range(0, m):
               # Forward propagation
               a, caches = forward_propagation(X[:,j], parameters)
               # Compute cost
               cost = compute_cost(a, Y[:,j])
               # Backward propagation
               grads = backward_propagation(a, caches, parameters)
               # Update parameters.
               parameters = update_parameters(parameters, grads)
       

       Note also that implementing SGD requires 3 for-loops in total:

       1. Over the number of iterations
       2. Over the $m$ training examples
       3. Over the layers (to update all parameters, from $(W^{[1]},b^{[1]})$ to $(W^{[L]},b^{[L]})$)

     • Stochastic Gradient Descent 和 (Batch) Gradient Descent 比较
       

       • Stachastic gradient descent每次前进速度很快，但是路线曲折，有较大的振荡，最终会在最小值附近来回波动，难以真正达到最小值处。而且在数值处理上就不能使用向量化的方法来提高运算速度。
       • Batch gradient descent会比较平稳地接近全局最小值，但是因为使用了所有m个样本，每次前进的速度有些慢。

   • 一般来说：

     • 当总体样本数量$m$不太大时，例如$m\le 2000$，建议直接使用Batch gradient descent。
     • 当总体样本数量m很大时，建议将样本分成许多mini-batches。推荐常用的mini-batch size为$64,128,256,512$。这些都是2的幂。

     1. 设置的原因是计算机存储数据一般是2的幂，这样设置可以提高运算速度。
     2. mini-batch size不能设置得太大（Batch gradient descent），也不能设置得太小（Stachastic gradient descent）。这样，相当于结合了Batch gradient descent和Stachastic gradient descent各自的优点，既能使用向量化优化算法，又能叫快速地找到最小值。

     ---

2.3 指数加权平均数（Exponentially weighted averages）

本节主要介绍：指数加权平均数（Exponentially weighted averages） (又被称为：指数加权移动平均(Exponential Weighted Moving Average)）

1. 例子：
   下图记录半年内伦敦市的气温变化，${\theta }_i$表示第$i$天的华氏温度，$v_i$表示第$i$天的移动加权平均值(EMA)：
   
   温度数据似乎抖动较大。如果我们希望看到半年内气温的整体变化趋势，可以通过EMA的方法来对每天气温进行平滑处理。
2. 指数加权移动平均EMA(Exponential Weighted Moving Average)处理
   设$v_0=0$，当成第0天的气温值。
   • 第一天的气温与第$1$天的气温有关：
     $v_1=0.9v_0+0.1{\theta }_1$
   • 第二天的气温与第$2$天的气温有关：
     $v_2=0.9v_1+0.1{\theta }_2$
   • 第三天的气温与第$3$天的气温有关：
     $v_3=0.9v_2+0.1{\theta }_3$
   • 即第$t$天与第$t-1$天的气温迭代关系为：
     $v_t=0.9v_{t-1}+0.1{\theta }_t$
     经过$EMA$处理得到的气温如下图红色曲线所示：
     
3. 定义
   EMA一般形式为：
   $$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$$
   上例中，$\beta =0.9$。$\beta$值决定了指数加权平均的天数，近似表示为：$\frac{1}{1-\beta }$

   • 当$\beta =0.9$，则$\frac{1}{1-\beta }=10$，表示将前10天进行指数加权平均，如$红线$。
   • 当$\beta =0.98$，则$\frac{1}{1-\beta }=50$，表示将前50天进行指数加权平均，如$绿线$。
   • 当$\beta =0.5$，则$\frac{1}{1-\beta }=2$，表示将前2天进行指数加权平均，如$黄线$。
     
     $Tip$:$\beta$值越大，则指数加权平均的天数越多，平均后的趋势线就越平缓，但是同时也会向右平移。

---

2.4 理解指数加权平均数（Understanding exponentially weighted averages）

1. 从公式来理解指数加权移动平均EMA(Exponential Weighted Moving Average)
   EMA-指数加权移动平均一般形式为：
   $$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$$
   我们把公式写成一般形式，则为：
   $$\begin{array}{l}{v}_t=\beta v_{t-1}+(1-\beta ){\theta }_t\\ =(1-\beta ){\theta }_t+(1-\beta )\cdot \beta \cdot {\theta }_{t-1}+(1-\beta )\cdot {\beta }^2\cdot {\theta }_{t-2}+\cdots +(1-\beta )\cdot {\beta }^{t-1}\cdot {\theta }_1+{\beta }^t\cdot v_0\end{array}$$
   上式中：
   • ${\theta }_t,{\theta }_{t-1},{\theta }_{t-2},\cdots ,{\theta }_1$是原始数据值，$(1-\beta ),(1-\beta )\beta ,(1-\beta ){\beta }^2,\cdots ,(1-\beta ){\beta }^{t-1}$是类似指数曲线，从右向左，呈指数下降的。
   • $v_t$的值就是这两个子式的点乘，当 $v_0=0$时，可得：$v_t=(1-\beta )({\theta }_t+\beta {\theta }_{t-1}+{\beta }^2{\theta }_{t-2}+...+{\beta }^{t-1}{\theta }_1)$，从公式中可以看到：每天温度($\theta$)的权重系数以指数等比形式缩小，时间越靠近当前时刻的数据加权影响力越大。相当于做了指数衰减，离得越近，影响越大；离得越远，影响越小，衰减越厉害。
2. $\frac{1}{1-\beta }$的由来
   由上例中，可知：$\beta$值决定了指数加权平均的天数，近似表示为：$\frac{1}{1-\beta }$。那$\frac{1}{1-\beta }$是怎么来的呢？
   指数加权移动平均$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$是指数是衰减的，一般认为衰减到$\frac{1}{e}$就可以忽略不计了。因此，根据之前的推导公式得
   $${\beta }^{\frac{1}{1-\beta }}\approx \frac{1}{e}$$
   令$\frac{1}{1-\beta }=N$，$N>0$，则$\beta =1-\frac{1}{N}$，$\frac{1}{N}<1$。即证明转化为：
   $(1-\frac{1}{N}{)}^N=\frac{1}{e}$
   显然，当$N>>0$时，上述等式是近似成立的。
   所以指数加权移动平均的移动一般是$\frac{1}{1-\beta }$。

---

2.5 指数加权平均的偏差修正（Bias correction in exponentially weighted averages）

1. 问题提出
   当$\beta =0.98$时，指数加权移动平均结果希望是下图绿色曲线所示。但是实际上，真实曲线如紫色曲线所示。
   紫色曲线与绿色曲线的区别：紫色曲线开始的时候相对较低一些。这是因为开始时我们设置$v_0=0$，所以初始值会相对小一些，直到后面受前面的影响渐渐变小，趋于正常。
   
2. 修正上述问题
   修正这种问题的方法是进行$偏移校正（biascorrection）$，即在每次计算完$v_t$后，对$v_t$进行下式处理：
   $$\frac{v_t}{1-{\beta }^t}$$
   • 刚进行迭代时：$t$比较小，$(1-{\beta }^t)<1$，这样就将$v_t$修正得更大一些，效果是把紫色曲线开始部分向上提升一些，与绿色曲线接近重合。
   • 随着迭代的深入，$(1-{\beta }^t)\approx 1$，$v_t$基本不变，紫色曲线与绿色曲线依然重合。
     这样就实现了简单的偏移校正，得到我们希望的绿色曲线。

   $Tip$
   机器学习中，$偏移校正不是必须的$。因为，在迭代一次次数后（$t$较大），$v_t$受初始值影响微乎其微，紫色曲线与绿色曲线基本重合。所以，一般可以忽略初始迭代过程，等到一定迭代之后再取值，这样就不需要进行偏移校正了。

3. EMA(指数加权移动平均)的优点及其应用理解
   1. EMA 的优点
      • 它占用极少内存：计算指数加权平均数只占用单行数字的存储和内存，然后把最新数据代入公式，$内存中不断覆盖$。
      • 移动平均线能较好的反应时间序列的变化趋势，权重的大小不同起到的作用也是不同，时间比较久远的变量值的影响力相对较低，时间比较近的变量值的影响力相对较高。
   2. EMA 在 Momentum 优化算法中应用的理解
      • 假设每次梯度的值都是 $g、\gamma =0.95$ ，此时参数更新，开始会加速下降；当迭代次数$n$达到$150$左右，此时达到了速度上限，之后将匀速下降（可参考一中的公式理解）。
      • 假如，在某个时间段内一些参数的梯度方向与之前的不一致时，那么真实的参数更新幅度会变小；相反，若在某个时间段内的参数的梯度方向都一致，那么其真实的参数更新幅度会变大，起到加速收敛的作用。
      • 在迭代后期，由于随机噪声问题，经常会在收敛值附近震荡，动量法会起到减速作用，增加稳定性。

   参考：指数加权移动平均(Exponential Weighted Moving Average)

---

2.6 动量梯度下降法（Gradient descent with Momentum）

1. 存在的问题
   如下图蓝色所示，当我们使用min-batch的时候，会发现存在以下问题：

   • 当要加速每次迭代的“前进步伐”，增大$\alpha$时，每次迭代的上下“波动变大”；
   • 当要让每次迭代的“波动减小”，减小$\alpha$时，每次迭代的上下“前进步伐”变小；

   这就成了一个悖论，如下图蓝色所示。利用指数加权平均的偏差修正（Bias correction in exponentially weighted averages），变成动量梯度下降法（Gradient descent with Momentum），就能很好的解决此问题，如下图红色所示。
   

2. Momentum算法

   1. 基本思路
      在使用min-batch的时候，对权重$w$和常数项$b$的指数加权移动平均表达式如下：
      $$\begin{array}{l}{v}_{dW}=\beta \cdot v_{dW}+(1-\beta )\cdot dW\\ v_{db}=\beta \cdot v_{db}+(1-\beta )\cdot db\end{array}$$
      从动量的角度：

      • 以权重$W$为例，$v_{dW}$可以成速度$v$，$dW$可以看成是加速度$a$。指数加权平移动平均可以认为：计算当前的速度，当前速度由之前的速度和现在的加速度共同影响。
      • $\beta <1$，又能限制速度$v_{dW}$过大。也就是说，当前的速度是渐变的，而不是瞬变的，是动量的过程。

      以上保证了梯度下降的平稳性和准确性，减少振荡，较快地达到最小值处。

   2. 基本框架
      动量梯度下降算法的过程如下：
      $$\begin{array}{l}Oniterationt:\\ ComputedW,dbonthecurrentmini-batch\\ v_{d{W}^{[l]}}=\beta v_{d{W}^{[l]}}+(1-\beta )d{W}^{[l]}\\ v_{d{b}^{[l]}}=\beta v_{d{b}^{[l]}}+(1-\beta )d{b}^{[l]}\\ W^{[l]}=W^{[l]}-\alpha v_{d{W}^{[l]}},\\ b^{[l]}=b^{[l]}-\alpha v_{d{b}^{[l]}}\end{array}$$
      $Tip$：

      • 初始时，令$v_{d{W}^{[l]}}=0,v_{d{b}^{[l]}}=0$。一般设置$\beta =0.9$，即指数加权移动平均前10天的数据，实际应用效果较好。
      • 偏移校正，可以不使用。因为经过10次迭代后，随着滑动平均的过程，偏移情况会逐渐消失。
      • 动量梯度下降还有另外一种写法：
        $$\begin{array}{l}{v}_{dW}=\beta v_{dW}+dW\\ v_{db}=\beta v_{db}+db\end{array}$$

      1. 上面的写法消去了$dW$和$db$前的系数$(1-\beta )$。这样简化了表达式，但是学习因子$\alpha$相当于变成了$\frac{\alpha }{1-\beta }$，表示$\alpha \text{也受}\beta 的影响$。
      2. 从效果上来说，这种写法也是可以的，但是不够直观，且 $调参涉及到\alpha$，不够方便。所以，实际应用中，推荐第一种动量梯度下降的表达式。

---

2.7 RMS-prop(Root Mean Square Prop)

RMSprop是另外一种优化梯度下降速度的算法。是AdaGrad算法和指数加权移动平均EMA的结合。

1. RMSprop理解
   1. 公式角度
      RMSprop是Geoff Hinton提出的一种自适应学习率方法。Adagrad会累加之前所有的梯度平方，而RMSprop仅仅是计算指数加权移动平均值，因此可缓解Adagrad算法学习率下降较快的问题，如下公式：
      $$\begin{array}{l}{S}_W=\beta S_{dW}+(1-\beta )d{W}^2\\ S_b=\beta S_{db}+(1-\beta )d{b}^2\\ W:=W-\alpha \frac{dW}{\sqrt{S_W}}\\ b:=b-\alpha \frac{db}{\sqrt{S_b}}\end{array}$$
   2. 迭代波动角度
      
      从图中可以看出：
      • 梯度下降（蓝色折线）在垂直方向（$b$）上振荡较大，在水平方向（$W$）上振荡较小，表示在$b$方向上梯度较大，即$db$较大，而在$W$方向上梯度较小，即$dW$较小。因此，上述表达式中$S_b$较大，而$S_W$较小。
      • 在RMSprop中，更新$W$和$b$的表达式时，变化值$\frac{dW}{\sqrt{S_W}}$较大，而$\frac{db}{\sqrt{S_b}}$较小。即$W$变化得多一些，$b$变化得少一些（加快了$W$方向的速度，减小了$b$方向的速度，减小振荡）。实现快速梯度下降算法，其梯度下降过程如绿色折线所示。
      • 总得来说：RMSprop可以认为如果哪个方向振荡大，就减小该方向的更新速度，从而减小振荡。
2. 基本框架
   1. 通过RMSprop，来减缓$b$方向的学习，即纵轴方向，同时$W$加快，至少不减缓横轴方向的学习，其更新表达式为：
      $$\begin{array}{l}Oniterationt:\\ ComputedW,dbonthecurrentmini-batch\\ S_W=\beta S_{dW}+(1-\beta )d{W}^2\\ S_b=\beta S_{db}+(1-\beta )d{b}^2\\ W:=W-\alpha \frac{dW}{\sqrt{S_W}},\\ b:=b-\alpha \frac{db}{\sqrt{S_b}}\end{array}$$
   2. $Tip:$
      • 为了避免RMSprop算法中分母为零，通常可以在分母增加一个极小的常数$\epsilon$：
        $$\begin{array}{l}W:=W-\alpha \frac{dW}{\sqrt{S_W}+\epsilon },\\ b:=b-\alpha \frac{db}{\sqrt{S_b}+\epsilon }\end{array}$$
        其中，$\epsilon =10^{-8}$，或者其它较小值。
      • RMSprop是基于权重梯度最近量级的均值，它每一个参数适应性地保留学习率。这意味着在非稳态和在线问题上有很有优秀的性能。

---

2.8 Adam 优化算法(Adam optimization algorithm)

1. Adam介绍
   • Adam（Adaptive Moment Estimation）算法结合了Momentum算法和RMSprop算法。
   • Adam是一种可以替代传统随机梯度下降（SGD） 过程的$二阶优化算法$(用到了偏方差/uncentered variance)，能基于训练数据迭代地更新神经网络权重。
   • 名称来源于适应性矩估计（ADAptive Moment estimation）。
2. 基本框架
   • 其算法流程为：
     初始化，令$V_{dW}=0,S_{dW}=0,V_{db}=0,S_{db}=0$，然后进行迭代
     $$\begin{array}{l}Oniterationt:\\ ComputedW,dbusingmin-batch\\ V_{dW}={\beta }_1{V}_{dW}+(1-{\beta }_1)dW,V_{db}={\beta }_1{V}_{db}+(1-{\beta }_1)db\\ S_{dW}={\beta }_2{S}_{dW}+(1-{\beta }_2)d{W}^2,S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)d{b}^2\\ V_{dW}^{corrected}=\frac{V_{dW}}{1-{\beta }_1^t},V_{db}^{corrected}=\frac{V_{db}}{1-{\beta }_1^t}\\ S_{dW}^{corrected}=\frac{S_{dW}}{1-{\beta }_2^t},S_{db}^{corrected}=\frac{S_{db}}{1-{\beta }_2^t}\\ W:=W-\alpha \frac{V_{dW}^{corrected}}{\sqrt{S_{dW}^{corrected}}+\epsilon },\\ b:=b-\alpha \frac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}}+\epsilon }\end{array}$$
   • Adam算法包含了几个超参数，分别是：$\alpha ,{\beta }_1,{\beta }_2,\epsilon$。其中:
     • ${\beta }_1$通常设置为$0.9$，
     • ${\beta }_2$通常设置为$0.999$，
     • $\epsilon$通常设置为$10^{-8}$，
     • 一般只需要对$\alpha$进行调试。
3. Adam算法的优势
   • 实际应用中，Adam算法结合了动量梯度下降和RMSprop各自的优点，使得神经网络训练速度大大提高。
   • 在非凸优化问题中，Adam的优势：
     • 实现直接，计算高效；
     • 所需内存少；
     • 梯度对角缩放的不变性；
     • 适合解决含大规模数据和参数的优化问题；
     • 适用于非稳态（non-stationary）目标；
     • 适于解决包含很$高噪声或稀疏梯度的问题$；
     • 超参数可以很直观地解释，并且基本上只需极少量的调参。

---

2.9 学习率衰减(Learning rate decay)

Learning rate decay是通过减小学习因子$\alpha$来提高神经网络训练速度。

1. 实验验证
   Learning rate decay就是随着迭代次数增加，学习因子$\alpha$逐渐减小。下面用图示的方式来解释这样做的好处。下图中：
   • 蓝色折线表示使用恒定的学习因子$\alpha$，由于每次训练$\alpha$相同，步进长度不变，在接近最优值处的振荡也大，在最优值附近较大范围内振荡，与最优值距离就比较远。
   • 绿色折线表示使用不断减小的$\alpha$，随着训练次数增加，$\alpha$逐渐减小，步进长度减小，使得能够在最优值处较小范围内微弱振荡，不断逼近最优值。
     相比较恒定的$\alpha$来说，learning rate decay更接近最优值。
     
2. Learning rate decay的衰减方法
   • 基本公式：
     Learning rate decay中对$\alpha$可由下列公式得到：
     $$\alpha =\frac{1}{1+(decayrate)\ast epoch}{\alpha }_0$$
     其中，$deacyrate$是参数（可调），$epoch$是训练完所有样本的次数。随着$epoch$增加，$\alpha$会不断变小。
   • 变形公式
     除了上面计算$\alpha$的公式之外，还可以选用以下计算公式：
     $$\alpha =0.95^{epoch}\cdot {\alpha }_0$$
     $$\alpha =\frac{k}{\sqrt{epoch}}\cdot {\alpha }_0$$
     $$\alpha =\frac{k}{\sqrt{t}}\cdot {\alpha }_0$$
     其中，$k$为可调参数，$t$为mini-bach number。
     上述公式都是：设置$\alpha$为关于$t$的离散值，随着$t$增加，$\alpha$呈阶梯式减小。

---

2.10 局部最优的问题(The problem of local optima)

1. 局部最优和全局最优

   • 局部最优
     局部最优解的理解是形如碗状的凹槽，如下图左边所示。
   • 全局最优
     大部分梯度为零的“最优点”并不是这些凹槽处，而是形如右边所示的马鞍状，称为saddle point（即有些维度凹形(局部最小)，而有些是凸性(局部最大)）。也就是说，梯度为零并不能保证所有维度都是convex（极小值），也有可能是concave（极大值）。
     在神经网络中参数很多都是鞍点的情况，所有参数梯度为零的点很可能都是右边所示的马鞍状的saddle point，而不是左边那样的local optimum。
     

2. 鞍点的特点

   • 类似马鞍状的plateaus会降低神经网络学习速度。鞍点是梯度接近于零的平缓区域，如下图所示。
   • 在鞍点附近上梯度很小，前进缓慢，再继续到达其他鞍点需要很长时间。

     到达plateaus后，由于随机扰动，梯度一般能够沿着图中绿色箭头，离开plateaus，继续前进，只是在plateaus上花费了太多时间。
     

   • 关于local optima，总结：
     • 只要选择合理的强大的神经网络，一般不太可能陷入local optima
     • Plateaus可能会使梯度下降变慢，降低学习速度

3. 解决鞍点问题
   梯度在平稳段是一个问题，这样使得学习十分缓慢。而使用像Momentum或是RMSprop，Adam这样的算法，能够加速学习算法的地方。在这些情况下，更成熟的优化算法，如Adam算法，能够加快速度，让你尽早往下走出平稳段。
   优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam
   
   

---

本章总结

• 最左边是min-batch
  小批量随机梯度下降（通常 SGD 指的就是这种）使用一个批量的数据更新参数，因此大大降低了一次迭代所需的计算量。这种方法降低了更新参数的方差，使得收敛过程更为稳定；它也能利用流行深度学习框架中高度优化的矩阵运算器，从而高效地求出每个小批数据的梯度。通常一个小批数据含有的样本数量在 50 至 256 之间，但对于不同的用途也会有所变化。

• 中间是Momentum和RMSprop

  • 动量梯度下降法(Momentum)旨在加速 SGD 的学习过程，特别是在具有较高曲率的情况下。一般而言，动量算法利用先前梯度的指数衰减滑动平均值在该方向上进行修正，从而更好地利用历史梯度的信息。该算法引入了变量 v 作为参数在参数空间中持续移动的速度向量，速度一般可以设置为负梯度的指数衰减滑动平均值。
  • RMSProp 和 Adam 等适应性学习率算法是目前我们最常用的最优化方法。RMSProp 算法（Hinton，2012）修改 AdaGrad 以在非凸情况下表现更好，它改变梯度累积为指数加权的移动平均值，从而丢弃距离较远的历史梯度信息。RMSProp 是 Hinton 在公开课上提出的最优化算法，其实它可以视为 AdaDelta 的特例。但实践证明 RMSProp 有非常好的性能，它目前在深度学习中有非常广泛的应用。

• 最右边是Adam
  Adam 算法同时获得了 AdaGrad 和 RMSProp 算法的优点。Adam 不仅如 RMSProp 算法那样基于一阶矩均值计算适应性参数学习率，它同时还充分利用了梯度的二阶矩均值（即有偏方差/uncentered variance）。