DeepLearning_1.1

---

深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。^[1]

主要内容：神经元、激活函数、梯度下降、学习率、过拟合

1. 基础知识

1.1 神经元

神经网络中，神经元模型如下：

其中，$[a_1,...,a_k,...,a_K]$为神经元输入，$[w_1,...,w_k,...w_K]$为每个输入对应的权重，b为偏置，$\sigma (z)$为激活函数，$a$为神经元输出。

---

1.2 神经网络基本结构

上图是一个典型的全连接神经网络结构，主要由输入层、隐含层和输出层构成。

其中， x = { x 1 , x 2 , . . . , x k } \boldsymbol x=\{x_1, x_2, ..., x_k\} x={x1​,x2​,...,xk​}为输入特征矢量，是神经网络的输入； y = { y 1 , y 2 , . . . , y d } \boldsymbol y=\{y_1, y_2, ..., y_d\} y={y1​,y2​,...,yd​}为神经网络的输出矢量； Θ = { W , b } \Theta = \{W, b\} Θ={W,b}为神经网络的参数，是神经网络训练过程所训练的对象。

---

1.3 激活函数

激活函数的作用是使神经网络具备分层的非线性映射学习能力。

常用的激活函数
（1）Sigmoid激活函数$$f(x)=\frac{1}{1+e^{-x}}$$
Sigmoid激活函数是最早采用的一类激活函数，具有指数函数的形状，它将实数映射到$[0,1]$范围内。
Sigmoid函数求导：$$f^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=\frac{1}{1+e^{-x}}(1-\frac{1}{1+e^{-x}})=f(x)(1-f(x))$$它们的函数图像如下：

从图像可以看出，Sigmoid在定义域内处处可导，且两侧导数逐渐趋于0，即$$\underset{x\to \infty }{\lim }{f}^{\prime }(x)=0$$说明Sigmoid函数是一种软饱和函数（梯度渐近趋于零）。
缺点1： 当$x$的值较大或较小时，函数的导数趋于0，会导致梯度消失的现象。
缺点2： 输出非零均值，会导致模型训练收敛速度变慢。

---

（2）tanh激活函数（正切三角函数）$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}=2\ast Sigmoid(2x)-1$$
tanh是Sigmoid函数的变体，它将实数映射到$[-1,1]$范围内，因此输出为零均值，模型收敛速度会更快。
tanh以及导数图像如下：

缺点： tanh也存在梯度消失问题。

---

（3）Relu（修正线性单元）$$f(x)=\max (0,x)$$
特点： 导数简单，无指数或除法运算。
Relu导数：$$f(x)=\{\begin{array}{ll}0& x<0\\ 1& x\ge 0\end{array}$$
函数图像：

优点1： 缓解梯度消失问题（$x>0$）。
优点2： 计算速度快。
优点3： 收敛速度快。
优点4： Relu会使一部分神经元的输出为0，即网络变得稀疏，可以一定程度上缓解过拟合。

---

神经元死亡

随着训练的推进，部分输入会落入硬饱和区（负半轴），导致对应权重无法更新。这种现象称为神经元死亡。

权值更新过程：$$w=w-\alpha \frac{\partial L}{\partial w}$$当$\frac{\partial L}{\partial w}$很大时，更新权重后该神经元可能落入硬饱和区，此时该神经元的输出为0，梯度也为0，对应权值无法再更新，这个神经元就再也无法激活。
为了解决这个问题，提出了多个Relu的变体。

---

（4）Leaky Relu $$f(x)=\max (\sigma x,x)$$其中，$\sigma$是一个很小的正常数。这样既修正了数据分布，又保留了负轴的一些值，使得负轴信息不全部丢失。
Leaky Relu及其导数图像如下：

基于LeakyRelu，有Randomized Relu和Parameterized Relu两个变体，前者首先随机选择$\sigma$的值，然后在测试过程中进行修正；后者将$\sigma$作为神经元的参数进行训练；

---

（5）ELU（Exponential Linear Units） $$f(x)=\{\begin{array}{ll}x& x<0\\ \alpha (e^x-1)& x\ge 0\end{array}$$
ELU及其导数图像如下：

ELU融合了Sigmoid和Relu的特点，左侧具有软饱和性，右侧无饱和性。
优点： 左侧软饱和使得ELU对输入变化或噪声更加鲁棒，右侧无饱和使得ELU能够有效缓解梯度消失问题。此外，ELU的零均值输出使得其收敛速度更快。

---

（6）MAXOUT $$f(x)=\max (w_1^{T}x+b1,w_2^{T}x+b2,...,w_k^{T}x+bk)$$
MAXOUT相当于在中间增加了含k个神经元的“隐隐含层”，输出为k个神经元中输出的最大值，如下图所示：

优点1： MAXOUT的拟合能力非常强，可以拟合任意的凸函数。（当$w_2=0,b_2=0,...,w_k=0,b_k=0$时，退化为Relu。）
优点2： MAXOUT能够缓解梯度消失问题；由于不会陷入硬饱和区，可以规避神经元死亡的缺点；
缺点： 增加了参数数量和计算量。

---

如何选择激活函数

1. 通常来说，很少会把各种激活函数串在一个网络中使用
2. 如果使用Relu， 一定要小心设置学习率，预防出现过多的“神经元死亡”问题。
3. 可以选择LeakyRelu、PRelu或者maxout解决神经元死亡问题。
4. 最好不要使用Sigmoid、可以尝试使用tanh，但效果通常不会有Relu或maxout好。

---

2. 梯度下降法

2.1 损失函数（lose function）

损失函数用于评估算法的优劣，表现了经过模型后输出与实际输出的差距程度，损失函数越小表示模型的效果越好。
常用损失函数：均方误差、交叉熵$$均方误差：\frac{1}{2}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2交叉熵：-\sum _{i=1}^n{\hat{y}}_i\ln y_i$$深度学习的学习过程就是寻找使得损失函数最小的网络参量： θ = { w 1 , w 2 , . . . , b 1 , b 2 , . . . } \theta = \{w_1, w_2, ..., b_1, b_2, ...\} θ={w1​,w2​,...,b1​,b2​,...}

---

2.2 梯度下降

深度学习的学习过程实际上是一个最优化的问题，梯度下降法利用输出后的误差来估计输出层前一层的误差，再利用这个误差估计更前一层的误差，如此一层一层的反向传递下去，从而获得所有其他各层的误差估计。

推导过程：

模型简化为右图所示，其中：

1. 与输入层有关的变量和参数：下标$i$
2. 与隐含层层有关的变量和参数：下标$h$
3. 与输出层有关的变量和参数：下标$j$
4. 输入到隐含层：$a_h=\sum _{i=1}^d{w}_{ih}{x}_i+{\theta }_h,z_h=f(a_h)$
5. 隐含层到输出层：$a_j=\sum _{i=1}^{n_H}{w}_{hj}{z}_h+{\theta }_j,z_j=f(a_j)$
6. 损失函数：$L=\frac{1}{2}\sum _j(t_j-z_j{)}^2$, $t_j$为期望输出
   

于是参数更新的过程如下：

其中，参数$\eta$为学习率，它决定了函数到达（局部）最小值的迭代次数。
在每次迭代中，对每个变量，按照损失函数在该变量梯度的相反方向更新对应的参数值。
可以理解为，在目标函数的超平面上，沿着斜率下降的方向前进，直到遇到了超平面构成的“谷底”（梯度接近零）。

---

2.3 梯度下降法变体

梯度下降法主要有三种变体：批量梯度下降法、随机梯度下降法、小批量梯度下降法
1. 批量梯度下降法（BGD）
① 对于给定的迭代次数，基于在整个数据集上求出的损失函数对输入的参数向量$w$计算梯度向量。
②参数更新：$$\begin{gathered} \Delta w_{\ast }=-\eta \sum _{k=1}^{all}\frac{\partial J}{\partial w_{\ast }} \\ {w}_{\ast }^{t+1}=w_{\ast }^t+\Delta w_{\ast } \end{gathered}$$
**缺点1：**每次更新需要在整个数据集上求出所有的偏导数，因此批量梯度下降法的速度比较慢。
**缺点2：**不能以“在线”的形式更新模型，也就是不能在运行中试试加入新的样本进行运算。

2. 随机梯度下降法（SGD）
相比批量梯度下降法，SGD的每次更新，是对数据集中的一个样本(x, y)求出损失函数，然后对其求响应偏导数，进行参数更新：$$\begin{gathered} \Delta w_{\ast }=-\eta \frac{\partial J}{\partial w_{\ast }} \\ {w}_{\ast }^{t+1}=w_{\ast }^t+\Delta w_{\ast } \end{gathered}$$
优点1： 对于批量梯度下降，在每次更新前，需要对所有样本求解梯度值，因此会对相似样本求算梯度值，在较大数据集上的计算会出现冗余。而随机梯度下降每次仅对一个样本求梯度，去除了这种冗余情况。
优点2： 随机梯度下降的运行速度快，且能够“在线”学习。
优点3： 随机梯度下降中会使得目标函数剧烈的波动，从而使得目标函数可能从一个局部极小值点跳入另一个更小的极小值点。。
缺点1： 随机梯度下降的持续波动使得训练的过程难以停止下来。
缺点2： 每次正反向传播只计算一个样本，串行条明显，硬件利用率不高。

3. 小批量梯度下降法（Mini-Batch Gradient Descent）
集合了SGD和BGD的有点，在每次更新中，对n个样本构成的一批数据，计算损失函数，并对相应的参数求导，然后进行参数更新：$$\begin{gathered} \Delta w_{\ast }=-\eta \sum _{k=1}^n\frac{\partial J}{\partial w_{\ast }} \\ {w}_{\ast }^{t+1}=w_{\ast }^t+\Delta w_{\ast } \end{gathered}$$
优点1： 相比SGD，降低了更新参数的方差，收敛过程更为稳定。
优点2： 相比BGD，不用对整个数据集求损失函数，可减少计算冗余，加快收敛速度。

小批量梯度下降法通常是训练神经网络的首选算法。

---

2.4 学习率

学习率$\eta$是深度学习中一个重要的参量，如何调整学习率是训练出好模型的关键要素之一。

学习率过大
学习率过大，则梯度更新过快，容易出现超调现象：在极值点两端不断发散，或是剧烈震荡。此时，随着迭代次数增大，损失函数没有减小的趋势。

学习率过小
学习率过小，则梯度更新太慢，会导致无法快速地找到好的下降的方向。此时，随着迭代次数增大，损失函数几乎不变。

学习率设置规则

• 小梯度，设置大的学习率，加快梯度更新。
• 大梯度，设置小的学习率，减缓剧烈震荡。

学习率调整方法
1. 基于经验的手动调整
     \space\space\space\space     通过尝试不同的固定学习率，如0.1， 0.01， 0.001等，观察迭代次数和损失函数的变化关系，找到损失函数下降最快对应的学习率。
2. 基于策略的调整
（1）$$\eta =\frac{1}{1+decayrate\ast epochnum}{\eta }_0$$其中，$epochnum$表示遍历数据集的次数，$dacayrate$为衰减率。随着迭代次数的增多，学习率会逐渐下降。
（2）指数衰减（exponentially decay）$$\eta =0.95^{epochnum}{\eta }_0$$
（3）其他$$\eta =\frac{k}{\sqrt{epochnum}}{\eta }_0$$

---

2.5 梯度下降会遇到的问题

在进行梯度下降的过程中，会面临三种情况：
1. 平原问题： 在平原中，梯度变化非常的缓慢。
2. 鞍点： 梯度下降可能会停在鞍点位置。
3. 局部极值点： 梯度下降可能会停在局部极值点而非全局极值点。
下图展示了这三种情况：

上述三种情况的出现，使得选取不同初始点时，最终会收敛到不同的局部极值，得到不同的优化效果。

---

2.6 梯度下降优化算法

主要内容：Momenbum法（动量法）、Adagrad法（自适应梯度）、Nesterov加速梯度法（NAG）、Adadelta法、RMSprop法、适应性动量估计法（Adam）
1. Momentum法（动量法）
动量法在利用梯度时，不仅仅利用当前次迭代所计算出的梯度值，还使用之前一段时间的梯度值。$$\begin{gathered} v_t=\gamma v_{t-1}+\eta \nabla J \\ {\theta }^t={\theta }^{t-1}-v_t \end{gathered}$$其中，$v_{t-1}$表示之前所有步骤所累积的动量和。$\gamma$为动量因子，通常取0.9，使得早期梯度对当前梯度的影响越来越小。$\gamma v_{t-1}$为动量项，当前后梯度方向一致时，能够加速学习，前后方向不一致时，能够抑制震荡。

动量法就是一种犹如小球自动滚动下山的方法，它使得损失函数能够根据惯性越过平原、鞍点或局部极值点的位置。而动量因子的作用就类似于摩擦力的作用，使得结果不至于发散。

下图是使用动量法之后的情况：

下降初期： 梯度方向相同，加快下降速度。
平原阶段： 当前梯度为零，但累积的动量会使其顺利越过平原。
鞍点位置： 同样的，累积的动量会使得其越过鞍点位置。
局部极值点位置： 同样的，如果累积的动量足够大，可以使得其越过局部极值点位置。
全局极值点位置： 如果没有动量项，在学习率较大的情况下会使得损失函数在极值点位置来回“震荡”，而动量项可以减少“震荡”的幅度，从而加速收敛到全局极值点。

2. Nestetorv 加速梯度法（NAG）
加速梯度法是动量法的改进，是一种更加“聪明”的滚动下山的方式。动量法每一步需要将历史梯度和当前梯度进行合并，然后再进行梯度下降；而加速梯度法先按照历史梯度往前走一小步，然后与该位置的“超前”梯度进行合并，因此可以在这个超前的位置看到梯度，从而修正这一步的梯度。$$\begin{gathered} v_t=\gamma v_{t-1}+\eta \nabla J({\theta }_t-\gamma v_{t-1}) \\ {\theta }_t={\theta }_{t-1}-v_t \end{gathered}$$
其中，$\nabla J({\theta }_t-\gamma v_{t-1})$作用是“预测”下次参数位置近似值，也就是告诉我们参数大致会变为多少，这种预更新方法能防止大幅震荡，且不会错过最小值，并对参数更新更加敏感。

这种基于预测的更新方法，可避免过快地前进，提高了算法响应能力。

3. Adagrad法（自适应梯度）
AdaGrad算法利用之前计算的梯度来自动变更学习率$eta$, 学习率的修正方式如下：$${\theta }_t={\theta }_{t-1}-\frac{\eta }{\sqrt{{\sum }_{r=1}^{t-1}(\nabla J{)}_r+ϵ}}(\nabla J{)}_t$$
其中，$ϵ$是一个平滑项，用于避免分母为0， 它的数量级通常在$10^{-7}$。
优点
①每次迭代不需要手工调整学习率，能够实现学习率自动更新。
②大梯度对应小的学习率，小梯度对应大的学习率，从而加快收敛。
缺点
①学习率单调递减，训练后期学习率非常小，这使得网络更新能力越来越弱，最终梯度趋于零，使得训练提前结束。
②更新时，左右两边单位不一致。
③仍依赖于人工设置一个全局学习率$\eta$。

4. Adadelta法
Adadelta法是Adagrad法的一个延伸，它旨在于解决Adagrad的是三个问题。
①第一个问题：仅利用Adagrad分母中累计项离当前时间点比较近的项。
Adagrad会累加之前所有的梯度平方，而Adadelta只累加固定大小的项（累积窗口限制到固定的尺寸w，即只取最近的w个状态。）
②第二、三个问题：改进为$${\theta }_t={\theta }_{t-1}-\frac{RMS[\Delta \theta {]}_{t-1}}{RMS[g{]}_t}{g}_t$$其中，$$\begin{gathered} g_t=(\nabla J{)}_t \\ RMS[\Delta \theta {]}_t=\sqrt{E[\Delta {\theta }^2{]}_t+ϵ}，E[\Delta {\theta }^2{]}_t=\gamma E[\Delta {\theta }^2{]}_{t-1}+(1-\gamma )\Delta {\theta }_t^2, \\ RMS[g{]}_t=\sqrt{E[g^2{]}_t+ϵ}，E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma )g_t^2 \end{gathered}$$
从上式可以看出，Adadelta法并不依赖于全局学习率。

5. RMSprop法（均方根传播）
RMSprop法和Adadelta法类似，也是Adagrad法的改进，相比于Adagrad历史梯度，RMSprop算法增加了一个衰减系数来控制历史信息的权重。$$\begin{gathered} E[g^2{]}_t=0.9E[g^2{]}_{t-1}+0.1g_t^2 \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{E[g^2{]}_t+ϵ}}{g}_t \end{gathered}$$
从本质上看，可认为RMSprop将不同方向梯度的方差考虑进来，对于波动大的（方差大），梯度给小一点，对于波动小的，梯度给大一点，这样整个下降路径就缓和很多，提高计算效率。

square表示在梯度那里使用了平方项，mean表示梯度的加权平均，root表示分母梯度平方再开方。

特点
① 仍然依赖于全局学习率
② 很好的解决了训练过程过早结束的问题
③ RMSprop适合处理非平稳目标（将不同方向梯度的方差考虑进来），对RNN效果很好。

6. Adam法（自适应动量估计法）
Adam算法结合了momentum和RMSprop，包含梯度平均和梯度方差的信息，将momentum和RMSprop的权重更新方法结合在一起。

Adam法本质上是带有动量项RMSprop，它利用梯度的一阶估计和二阶估计动态调整每个参数的学习率。

梯度的一阶矩：$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$梯度的二阶矩：$$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$其中，${\beta }_1$为momentum超参数，用来调试梯度平均方程；${\beta }_2$为RMSprop超参数，用来调试计算梯度方差过程。
偏差校正：$${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}{\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$近似为对期望的无偏估计。
参数更新：$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t$$

各种优化方法对比

下图给出了不同梯度下降法损失平面等高线对比：

可以看到，Adagrad、Adadelta、RMSprop能够快速找到正确前进方向并以相似的速度很快收敛。而动量法和NAG法则找错了方向，让小球沿着梯度下降的方向前进，但NAG法能够往前看并对前面的情况作出相应，所有可以很快改正方向，向正确方向前进。

下图给出了不同梯度下降法在鞍点处的表现：

可以看到，SGD法、动量法、NAG法都很难打破“对称性”带来的壁垒，尽管最后两者设法逃脱了鞍点；Adagrad、Adadelta、RMSprop能够快速的沿着负斜率的方向前进。

优化器选择
① SGD通常训练时间长，且容易陷入鞍点，但在好的初始化和学习率调整策略的情况下可以得到更可靠的结果。
② 在网络较为复杂，且对收敛速度有要求的情况下，通常使用学习率自适应的优化方法（Adagrad法、Adadleta法、RMSprop法以及Adam法等）。
③ Adadelta, RMSprop, Adam是比较相近的算法，在一般情况下表现差不多。

---

3. 过拟合问题

出现过拟合的原因
① 过拟合一个可能的原因是模型特征维度过高，模型假设过于复杂，参数过多。
② 数据中的噪声过多，如果完全拟合的话，与真实情景差异更大。
③ 数据量有限，使得模型无法真正了解整个数据的真实分布。
④ 权值学习迭代次数足够多的，拟合了训练数据中的噪声和训练样例中没有代表性的特征。

过拟合使得模型过度的拟合了训练数据，而没有考虑到泛化能力。

防止过拟合的方法
（1）Early stoppping （早停法）
     \space\space\space\space     早停法是一种用来避免模型在训练数据上过拟合的正则化方法：一旦训练过程中出现性能开始下降，可以停止训练与学习。

（2）Weight Decay （权值衰减法）
     \space\space\space\space     权值衰减法是从我们大脑工作借鉴来的方法，我们的大脑会将一些无用的连接进行清除。

在机器学习中，引入L2范数正则化来衰减权重，在一定程度上减少模型过拟合的问题，因此权重衰减也叫L2正则化。

L2正则化的原理如下，在损失函数上增加L2范数惩罚项：$$L=L_0+\frac{\lambda }{2n}\sum w^2$$
对加入L2正则化的损失函数求导：$$\frac{\partial L}{\partial w}=\frac{\partial L_0}{\partial w}+\frac{\lambda }{n}w$$
权值更新过程：$$w=w-\eta (\frac{\partial L_0}{\partial w}+\frac{\lambda }{n}w)=(1-\frac{\eta \lambda }{n})w-\eta \frac{\partial L_0}{\partial w}$$其中，$\lambda$为正则项系数，也叫权重衰减系数; $w$的系数$1-\frac{\eta \lambda }{n}<0$，即对权重进行了衰减。

（3）Dropout
2012年，Hinton在其论文《improving neural networks by preventing co-adaptation of feature detectors》提出Dropout，并在同年应用于Alexnet网络。

Dropout的基本思想在于减少部分神经元之间的联合适应性，从而提高神经网络的性能。因为神经元之间的协同作用（某些神经元必须依赖其他神经元才能发挥作用）造成了过拟合现象。大致做法为：在训练的时候，将部分神经元失活（在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，输出为零），阻断部分神经元之间的协同作用。

如上图所示，失活一定的神经元之后，网络的结构发生了变化，从而减少了冗余连接，防止过拟合。

Dropout的工作流程如下：
① 前向传播
通常的前向传播计算公式：$$\begin{gathered} z_i^{l+1}={\mathbf{w}}_i^{l+1}{\mathbf{y}}^l+b_i^{l+1} \\ {y}_i^{l+1}=f(z_i^{(l+1)} \end{gathered}$$采用Dropout后：
$$\begin{gathered} r_j^{(}l)\sim Bernoulli(p) \\ {\tilde{y}}^{(l)}={\mathbf{r}}^{(l)}\ast {\mathbf{y}}^{(l)} \end{gathered}$$

参考文献

[1] https://wc.yooooo.us/d2lraS8lRTYlQjclQjElRTUlQkElQTYlRTUlQUQlQTYlRTQlQjklQTAhemg=
[2] https://en.wikipedia.org/wiki/Activation_function