3.深度学习（一）

第三章 深度学习基础

3.1 基本概念

3.1.1 神经网络组成？

神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。

感知机

多层感知机中的特征神经元模型称为感知机，由Frank Rosenblatt于1957年发明。

简单的感知机如下图所示：

其中$x_1$，$x_2$，$x_3$为感知机的输入，其输出为：

$$output=\{\begin{array}{r}0,if\sum _i{w}_i{x}_i⩽threshold\\ 1,if\sum _i{w}_i{x}_i>threshold\end{array}$$

假如把感知机想象成一个加权投票机制，比如 3 位评委给一个歌手打分，打分分别为$4$分、$1$ 分、$-3$分，这$3$ 位评分的权重分别是 $1、3、2$，则该歌手最终得分为 $4\times 1+1\times 3+(-3)\times 2=1$ 。按照比赛规则，选取的 $threshold$ 为 $3$，说明只有歌手的综合评分大于$3$ 时，才可顺利晋级。对照感知机，该选手被淘汰，因为：

$$\sum _i{w}_i{x}_i<threshold=3,output=0$$

用 $-b$ 代替 $threshold$，输出变为：

$$output=\{\begin{array}{r}0,if\mathbf{w}\cdot \mathbf{x}+b⩽0\\ 1,if\mathbf{w}\cdot \mathbf{x}+b>0\end{array}$$

设置合适的 $\mathbf{x}$ 和 $b$ ，一个简单的感知机单元的与非门表示如下：

当输入为 $0$，$1$ 时，感知机输出为 $0\times (-2)+1\times (-2)+3=1$。

复杂一些的感知机由简单的感知机单元组合而成：

多层感知机

多层感知机由感知机推广而来，最主要的特点是有多个神经元层，因此也叫深度神经网络。相比于单独的感知机，多层感知机的第 $i$ 层的每个神经元和第 $i-1$ 层的每个神经元都有连接。

输出层可以不止有$1$ 个神经元。隐藏层可以只有$1$ 层，也可以有多层。输出层为多个神经元的神经网络例如下图所示：

3.1.2 神经网络有哪些常用模型结构？

下图包含了大部分常用的模型：

3.1.3 如何选择深度学习开发平台？

​ 现有的深度学习开源平台主要有 Caffe, PyTorch, MXNet, CNTK, Theano, TensorFlow, Keras, fastai等。那如何选择一个适合自己的平台呢，下面列出一些衡量做参考。

参考1：与现有编程平台、技能整合的难易程度

​ 主要是前期积累的开发经验和资源，比如编程语言，前期数据集存储格式等。

参考2: 与相关机器学习、数据处理生态整合的紧密程度

​ 深度学习研究离不开各种数据处理、可视化、统计推断等软件包。考虑建模之前，是否具有方便的数据预处理工具？建模之后，是否具有方便的工具进行可视化、统计推断、数据分析。

参考3：对数据量及硬件的要求和支持

​ 深度学习在不同应用场景的数据量是不一样的，这也就导致我们可能需要考虑分布式计算、多GPU计算的问题。例如，对计算机图像处理研究的人员往往需要将图像文件和计算任务分部到多台计算机节点上进行执行。当下每个深度学习平台都在快速发展，每个平台对分布式计算等场景的支持也在不断演进。

参考4：深度学习平台的成熟程度

​ 成熟程度的考量是一个比较主观的考量因素，这些因素可包括：社区的活跃程度；是否容易和开发人员进行交流；当前应用的势头。

参考5：平台利用是否多样性？

​ 有些平台是专门为深度学习研究和应用进行开发的，有些平台对分布式计算、GPU 等构架都有强大的优化，能否用这些平台/软件做其他事情？比如有些深度学习软件是可以用来求解二次型优化；有些深度学习平台很容易被扩展，被运用在强化学习的应用中。

3.1.4 为什么使用深层表示?

1. 深度神经网络是一种特征递进式的学习算法，浅层的神经元直接从输入数据中学习一些低层次的简单特征，例如边缘、纹理等。而深层的特征则基于已学习到的浅层特征继续学习更高级的特征，从计算机的角度学习深层的语义信息。
2. 深层的网络隐藏单元数量相对较少，隐藏层数目较多，如果浅层的网络想要达到同样的计算结果则需要指数级增长的单元数量才能达到。

3.1.5 为什么深层神经网络难以训练？

1. 梯度消失
   梯度消失是指通过隐藏层从后向前看，梯度会变的越来越小，说明前面层的学习会显著慢于后面层的学习，所以学习会卡住，除非梯度变大。

   ​ 梯度消失的原因受到多种因素影响，例如学习率的大小，网络参数的初始化，激活函数的边缘效应等。在深层神经网络中，每一个神经元计算得到的梯度都会传递给前一层，较浅层的神经元接收到的梯度受到之前所有层梯度的影响。如果计算得到的梯度值非常小，随着层数增多，求出的梯度更新信息将会以指数形式衰减，就会发生梯度消失。下图是不同隐含层的学习速率：

2. 梯度爆炸
   在深度网络或循环神经网络（Recurrent Neural Network, RNN）等网络结构中，梯度可在网络更新的过程中不断累积，变成非常大的梯度，导致网络权重值的大幅更新，使得网络不稳定；在极端情况下，权重值甚至会溢出，变为$NaN$值，再也无法更新。

3. 权重矩阵的退化导致模型的有效自由度减少。
   ​ 参数空间中学习的退化速度减慢，导致减少了模型的有效维数，网络的可用自由度对学习中梯度范数的贡献不均衡，随着相乘矩阵的数量（即网络深度）的增加，矩阵的乘积变得越来越退化。在有硬饱和边界的非线性网络中（例如 ReLU 网络），随着深度增加，退化过程会变得越来越快。Duvenaud等人2014年的论文里展示了关于该退化过程的可视化：

随着深度的增加，输入空间（左上角所示）会在输入空间中的每个点处被扭曲成越来越细的单丝，只有一个与细丝正交的方向影响网络的响应。沿着这个方向，网络实际上对变化变得非常敏感。

3.1.6 深度学习和机器学习有什么不同？

​ 机器学习：利用计算机、概率论、统计学等知识，输入数据，让计算机学会新知识。机器学习的过程，就是训练数据去优化目标函数。

​ 深度学习：是一种特殊的机器学习，具有强大的能力和灵活性。它通过学习将世界表示为嵌套的层次结构，每个表示都与更简单的特征相关，而抽象的表示则用于计算更抽象的表示。

​ 传统的机器学习需要定义一些手工特征，从而有目的的去提取目标信息， 非常依赖任务的特异性以及设计特征的专家经验。而深度学习可以从大数据中先学习简单的特征，并从其逐渐学习到更为复杂抽象的深层特征，不依赖人工的特征工程，这也是深度学习在大数据时代受欢迎的一大原因。

3.2 网络操作与计算

3.2.1 前向传播与反向传播？

神经网络的计算主要有两种：前向传播（foward propagation, FP）作用于每一层的输入，通过逐层计算得到输出结果；反向传播（backward propagation, BP）作用于网络的输出，通过计算梯度由深到浅更新网络参数。

前向传播

假设上一层结点 $i,j,k,...$ 等一些结点与本层的结点 $w$ 有连接，那么结点 $w$ 的值怎么算呢？就是通过上一层的 $i,j,k,...$ 等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数（即激活函数），如 $ReLu$，$sigmoid$ 等函数，最后得到的结果就是本层结点 $w$ 的输出。

最终不断的通过这种方法一层层的运算，得到输出层结果。

反向传播

由于我们前向传播最终得到的结果，以分类为例，最终总是有误差的，那么怎么减少误差呢，当前应用广泛的一个算法就是梯度下降算法，但是求梯度就要求偏导数，下面以图中字母为例讲解一下：

设最终误差为 $E$且输出层的激活函数为线性激活函数，对于输出那么 $E$ 对于输出节点 $y_l$ 的偏导数是 $y_l-t_l$，其中 $t_l$ 是真实值，$\frac{\partial y_l}{\partial z_l}$ 是指上面提到的激活函数，$z_l$ 是上面提到的加权和，那么这一层的 $E$ 对于 $z_l$ 的偏导数为 $\frac{\partial E}{\partial z_l}=\frac{\partial E}{\partial y_l}\frac{\partial y_l}{\partial z_l}$。同理，下一层也是这么计算，只不过 $\frac{\partial E}{\partial y_k}$ 计算方法变了，一直反向传播到输入层，最后有 $\frac{\partial E}{\partial x_i}=\frac{\partial E}{\partial y_j}\frac{\partial y_j}{\partial z_j}$，且 $\frac{\partial z_j}{\partial x_i}=w_{i}j$。然后调整这些过程中的权值，再不断进行前向传播和反向传播的过程，最终得到一个比较好的结果。

3.2.2 如何计算神经网络的输出？

如上图，输入层有三个节点，我们将其依次编号为 1、2、3；隐藏层的 4 个节点，编号依次为 4、5、6、7；最后输出层的两个节点编号为 8、9。比如，隐藏层的节点 4，它和输入层的三个节点 1、2、3 之间都有连接，其连接上的权重分别为是 $w_{41},w_{42},w_{43}$。

为了计算节点 4 的输出值，我们必须先得到其所有上游节点（也就是节点 1、2、3）的输出值。节点 1、2、3 是输入层的节点，所以，他们的输出值就是输入向量本身。按照上图画出的对应关系，可以看到节点 1、2、3 的输出值分别是 $x_1,x_2,x_3$。

$$a_4=\sigma (w^T\cdot a)=\sigma (w_{41}{x}_4+w_{42}{x}_2+w_{43}{a}_3+w_{4b})$$

其中 $w_{4b}$ 是节点 4 的偏置项。

同样，我们可以继续计算出节点 5、6、7 的输出值 $a_5,a_6,a_7$。

计算输出层的节点 8 的输出值 $y_1$：

$$y_1=\sigma (w^T\cdot a)=\sigma (w_{84}{a}_4+w_{85}{a}_5+w_{86}{a}_6+w_{87}{a}_7+w_{8b})$$

其中 $w_{8b}$ 是节点 8 的偏置项。

同理，我们还可以计算出 $y_2$。这样输出层所有节点的输出值计算完毕，我们就得到了在输入向量 $x_1,x_2,x_3,x_4$ 时，神经网络的输出向量 $y_1,y_2$ 。这里我们也看到，输出向量的维度和输出层神经元个数相同。

3.2.3 如何计算卷积神经网络输出值？

假设有一个 5*5 的图像，使用一个 3*3 的 filter 进行卷积，想得到一个 3*3 的 Feature Map，如下所示：

$x_{i,j}$ 表示图像第 $i$ 行第 $j$ 列元素。$w_{m,n}$ 表示 filter​ 第 $m$ 行第 $n$ 列权重。 $w_b$ 表示 $filter$ 的偏置项。 表$a_i{,}_j$示 feature map 第 $i$ 行第 $j$ 列元素。 $f$ 表示激活函数，这里以$ReLU$ 函数为例。

卷积计算公式如下：

$$a_{i,j}=f(\sum _{m=0}^2\sum _{n=0}^2{w}_{m,n}{x}_{i+m,j+n}+w_b)$$

当步长为 $1$ 时，计算 feature map 元素 $a_{0,0}$ 如下：

$$\begin{gathered} a_{0,0}=f(\sum _{m=0}^2\sum _{n=0}^2{w}_{m,n}{x}_{0+m,0+n}+w_b)=relu(w_{0,0}{x}_{0,0}+w_{0,1}{x}_{0,1}+w_{0,2}{x}_{0,2}+w_{1,0}{x}_{1,0}+ \\ {w}_{1,1}{x}_{1,1}+w_{1,2}{x}_{1,2}+w_{2,0}{x}_{2,0}+w_{2,1}{x}_{2,1}+w_{2,2}{x}_{2,2}) \\ =1+0+1+0+1+0+0+0+1 \\ =4 \end{gathered}$$

其计算过程图示如下：

以此类推，计算出全部的Feature Map。

当步幅为 2 时，Feature Map计算如下

注：图像大小、步幅和卷积后的Feature Map大小是有关系的。它们满足下面的关系：

$$\begin{gathered} W_2=(W_1-F+2P)/S+1 \\ {H}_2=(H_1-F+2P)/S+1 \end{gathered}$$

​ 其中 $W_2$， 是卷积后 Feature Map 的宽度；$W_1$ 是卷积前图像的宽度；$F$ 是 filter 的宽度；$P$ 是 Zero Padding 数量，Zero Padding 是指在原始图像周围补几圈 $0$，如果 $P$ 的值是 $1$，那么就补 $1$ 圈 $0$；$S$ 是步幅；$H_2$ 卷积后 Feature Map 的高度；$H_1$ 是卷积前图像的宽度。

​ 举例：假设图像宽度 $W_1=5$，filter 宽度 $F=3$，Zero Padding $P=0$，步幅 $S=2$，$Z$ 则

$$W_2=(W_1-F+2P)/S+1=(5-3+0)/2+1=2$$

​ 说明 Feature Map 宽度是2。同样，我们也可以计算出 Feature Map 高度也是 2。

如果卷积前的图像深度为 $D$，那么相应的 filter 的深度也必须为 $D$。深度大于 1 的卷积计算公式：

$$a_{i,j}=f(\sum _{d=0}^{D-1}\sum _{m=0}^{F-1}\sum _{n=0}^{F-1}{w}_{d,m,n}{x}_{d,i+m,j+n}+w_b)$$

​ 其中，$D$ 是深度；$F$ 是 filter 的大小；$w_{d,m,n}$ 表示 filter 的第 $d$ 层第 $m$ 行第 $n$ 列权重；$a_{d,i,j}$ 表示 feature map 的第 $d$ 层第 $i$ 行第 $j$ 列像素；其它的符号含义前面相同，不再赘述。

​ 每个卷积层可以有多个 filter。每个 filter 和原始图像进行卷积后，都可以得到一个 Feature Map。卷积后 Feature Map 的深度(个数)和卷积层的 filter 个数相同。下面的图示显示了包含两个 filter 的卷积层的计算。$7\ast 7\ast 3$ 输入，经过两个 $3\ast 3\ast 3$ filter 的卷积(步幅为 $2$)，得到了 $3\ast 3\ast 2$ 的输出。图中的 Zero padding 是 $1$，也就是在输入元素的周围补了一圈 $0$。

​ 以上就是卷积层的计算方法。这里面体现了局部连接和权值共享：每层神经元只和上一层部分神经元相连(卷积计算规则)，且 filter 的权值对于上一层所有神经元都是一样的。对于包含两个 $3\ast 3\ast 3$ 的 fitler 的卷积层来说，其参数数量仅有 $(3\ast 3\ast 3+1)\ast 2=56$ 个，且参数数量与上一层神经元个数无关。与全连接神经网络相比，其参数数量大大减少了。

3.2.4 如何计算 Pooling 层输出值输出值？

​ Pooling 层主要的作用是下采样，通过去掉 Feature Map 中不重要的样本，进一步减少参数数量。Pooling 的方法很多，最常用的是 Max Pooling。Max Pooling 实际上就是在 n*n 的样本中取最大值，作为采样后的样本值。下图是 2*2 max pooling：

​ 除了 Max Pooing 之外，常用的还有 Average Pooling ——取各样本的平均值
​ 对于深度为 $D$ 的 Feature Map，各层独立做 Pooling，因此 Pooling 后的深度仍然为 $D$。

3.2.5 实例理解反向传播

​ 一个典型的三层神经网络如下所示：

​ 其中 Layer $L_1$ 是输入层，Layer $L_2$ 是隐含层，Layer $L_3$ 是输出层。

​ 假设输入数据集为 $D=x_1,x_2,...,x_n$，输出数据集为 $y_1,y_2,...,y_n$。

​ 如果输入和输出是一样，即为自编码模型。如果原始数据经过映射，会得到不同于输入的输出。

假设有如下的网络层：

​ 输入层包含神经元 $i_1,i_2$，偏置 $b_1$；隐含层包含神经元 $h_1,h_2$，偏置 $b_2$，输出层为 $o_1,o_2$，$w_i$ 为层与层之间连接的权重，激活函数为 $sigmoid$ 函数。对以上参数取初始值，如下图所示：

其中：

• 输入数据 $i1=0.05,i2=0.10$
• 输出数据 $o1=0.01,o2=0.99$;
• 初始权重 $w1=0.15,w2=0.20,w3=0.25,w4=0.30,w5=0.40,w6=0.45,w7=0.50,w8=0.55$
• 目标：给出输入数据 $i1,i2$ ( $0.05$和$0.10$ )，使输出尽可能与原始输出 $o1,o2$，( $0.01$和$0.99$)接近。

前向传播

1. 输入层 --> 输出层

计算神经元 $h1$ 的输入加权和：

$$\begin{gathered} ne{t}_{h1}=w_1\ast i_1+w_2\ast i_2+b_1\ast 1 \\ ne{t}_{h1}=0.15\ast 0.05+0.2\ast 0.1+0.35\ast 1=0.3775 \end{gathered}$$

神经元 $h1$ 的输出 $o1$ ：（此处用到激活函数为 sigmoid 函数）：

$$ou{t}_{h1}=\frac{1}{1+e^{-ne{t}_{h1}}}=\frac{1}{1+e^{-0.3775}}=0.593269992$$

同理，可计算出神经元 $h2$ 的输出 $o1$：

$$ou{t}_{h2}=0.596884378$$

2. 隐含层–>输出层：

计算输出层神经元 $o1$ 和 $o2$ 的值：

$$ne{t}_{o1}=w_5\ast ou{t}_{h1}+w_6\ast ou{t}_{h2}+b_2\ast 1$$

$$ne{t}_{o1}=0.4\ast 0.593269992+0.45\ast 0.596884378+0.6\ast 1=1.105905967$$

$$ou{t}_{o1}=\frac{1}{1+e^{-ne{t}_{o1}}}=\frac{1}{1+e^{1.105905967}}=0.75136079$$

这样前向传播的过程就结束了，我们得到输出值为 $[0.75136079,0.772928465]$，与实际值 $[0.01,0.99]$ 相差还很远，现在我们对误差进行反向传播，更新权值，重新计算输出。

**反向传播 **

​ 1.计算总误差

总误差：(这里使用Square Error)

$$E_{total}=\sum \frac{1}{2}(target-output{)}^2$$

但是有两个输出，所以分别计算 $o1$ 和 $o2$ 的误差，总误差为两者之和：

$E_{o1}=\frac{1}{2}(targe{t}_{o1}-ou{t}_{o1}{)}^2=\frac{1}{2}(0.01-0.75136507{)}^2=0.274811083$.

$E_{o2}=0.023560026$.

$E_{total}=E_{o1}+E_{o2}=0.274811083+0.023560026=0.298371109$.

​ 2.隐含层 --> 输出层的权值更新：

以权重参数 $w5$ 为例，如果我们想知道 $w5$ 对整体误差产生了多少影响，可以用整体误差对 $w5$ 求偏导求出：（链式法则）

$$\frac{\partial E_{total}}{\partial w5}=\frac{\partial E_{total}}{\partial ou{t}_{o1}}\ast \frac{\partial ou{t}_{o1}}{\partial ne{t}_{o1}}\ast \frac{\partial ne{t}_{o1}}{\partial w5}$$

下面的图可以更直观的看清楚误差是怎样反向传播的：

3.2.6 神经网络更“深”有什么意义？

前提：在一定范围内。

• 在神经元数量相同的情况下，深层网络结构具有更大容量，分层组合带来的是指数级的表达空间，能够组合成更多不同类型的子结构，这样可以更容易地学习和表示各种特征。
• 隐藏层增加则意味着由激活函数带来的非线性变换的嵌套层数更多，就能构造更复杂的映射关系。

3.3 超参数

3.3.1 什么是超参数？

​ 超参数 : 在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

​ 超参数通常存在于：

1.  定义关于模型的更高层次的概念，如复杂性或学习能力。
2.  不能直接从标准模型培训过程中的数据中学习，需要预先定义。
3.  可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定

​ 超参数具体来讲比如算法中的学习率（learning rate）、梯度下降法迭代的数量（iterations）、隐藏层数目（hidden layers）、隐藏层单元数目、激活函数（ activation function）都需要根据实际情况来设置，这些数字实际上控制了最后的参数和的值，所以它们被称作超参数。

3.3.2 如何寻找超参数的最优值？

​ 在使用机器学习算法时，总有一些难调的超参数。例如权重衰减大小，高斯核宽度等等。这些参数需要人为设置，设置的值对结果产生较大影响。常见设置超参数的方法有：

1. 猜测和检查：根据经验或直觉，选择参数，一直迭代。

2. 网格搜索：让计算机尝试在一定范围内均匀分布的一组值。

3. 随机搜索：让计算机随机挑选一组值。

4. 贝叶斯优化：使用贝叶斯优化超参数，会遇到贝叶斯优化算法本身就需要很多的参数的困难。

5. MITIE方法，好初始猜测的前提下进行局部优化。它使用BOBYQA算法，并有一个精心选择的起始点。由于BOBYQA只寻找最近的局部最优解，所以这个方法是否成功很大程度上取决于是否有一个好的起点。在MITIE的情况下，我们知道一个好的起点，但这不是一个普遍的解决方案，因为通常你不会知道好的起点在哪里。从好的方面来说，这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。

6. 最新提出的LIPO的全局优化方法。这个方法没有参数，而且经验证比随机搜索方法好。

3.3.3 超参数搜索一般过程？

超参数搜索一般过程：

1. 将数据集划分成训练集、验证集及测试集。
2. 在训练集上根据模型的性能指标对模型参数进行优化。
3. 在验证集上根据模型的性能指标对模型的超参数进行搜索。
4. 步骤 2 和步骤 3 交替迭代，最终确定模型的参数和超参数，在测试集中验证评价模型的优劣。

其中，搜索过程需要搜索算法，一般有：网格搜索、随机搜过、启发式智能搜索、贝叶斯搜索。

3.4 激活函数

3.4.1 为什么需要非线性激活函数？

为什么需要激活函数？

1. 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。
2. 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。
3. 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

为什么激活函数需要非线性函数？

1. 假若网络中全部是线性部件，那么线性的组合还是线性，与单独一个线性分类器无异。这样就做不到用非线性来逼近任意函数。
2. 使用非线性激活函数 ，以便使网络更加强大，增加它的能力，使它可以学习复杂的事物，复杂的表单数据，以及表示输入输出之间非线性的复杂的任意函数映射。使用非线性激活函数，能够从输入输出之间生成非线性映射。

3.4.2 常见的激活函数及图像

1. sigmoid 激活函数

   函数的定义为：$f(x)=\frac{1}{1+e^{-x}}$，其值域为 $(0,1)$。

   函数图像如下：

2. tanh激活函数

   函数的定义为：$f(x)=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$，值域为 $(-1,1)$。

   函数图像如下：

3. Relu激活函数

   函数的定义为：$ f(x) = max(0, x) $ ，值域为 $ [0,+∞) $；

   函数图像如下：

4. Leak Relu 激活函数

   函数定义为： $f(x)=\{\begin{array}{r}ax,x<0\\ x,x>0\end{array}$，值域为 $(-\infty ,+\infty )$。

   图像如下（$a=0.5$）：

5. SoftPlus 激活函数

   函数的定义为：$f(x)=ln(1+e^x)$，值域为 $(0,+\infty )$。

   函数图像如下:

6. softmax 函数

   函数定义为： $\sigma (z{)}_j=\frac{e^{z_j}}{{\sum }_{k=1}^K{e}^{z_k}}$。

   Softmax 多用于多分类神经网络输出。

3.4.3 常见激活函数的导数计算？

对常见激活函数，导数计算如下：

原函数	函数表达式	导数	备注
Sigmoid激活函数	$f(x)=\frac{1}{1+e^{-x}}$	$f^{{}^{\prime }}(x)=\frac{1}{1+e^{-x}}\left(1-\frac{1}{1+e^{-x}}\right)=f(x)(1-f(x))$	当$x=10$,或$x=-10$，$f^{{}^{\prime }}(x)\approx 0$,当$x=0$$f^{{}^{\prime }}(x)=0.25$
Tanh激活函数	$f(x)=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$	$f^{{}^{\prime }}(x)=-(tanh(x){)}^2$	当$x=10$,或$x=-10$，$f^{{}^{\prime }}(x)\approx 0$,当$x=0$$f^{‘}(x)=1$
Relu激活函数	$f(x)=max(0,x)$	$c(u)=\{\begin{array}{l}0,x<0\\ 1,x>0\\ undefined,x=0\end{array}$	通常$x=0$时，给定其导数为1和0

3.4.4 激活函数有哪些性质？

1. 非线性： 当激活函数是非线性的，一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候，即 $f(x)=x$，就不满足这个性质，而且如果 MLP 使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的；
2. 可微性： 当优化方法是基于梯度的时候，就体现了该性质；
3. 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数；
4. $f(x)\approx x$： 当激活函数满足这个性质的时候，如果参数的初始化是随机的较小值，那么神经网络的训练将会很高效；如果不满足这个性质，那么就需要详细地去设置初始值；
5. 输出值的范围： 当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；当激活函数的输出是无限的时候，模型的训练会更加高效，不过在这种情况下，一般需要更小的 Learning Rate。

3.4.5 如何选择激活函数？

​ 选择一个适合的激活函数并不容易，需要考虑很多因素，通常的做法是，如果不确定哪一个激活函数效果更好，可以把它们都试试，然后在验证集或者测试集上进行评价。然后看哪一种表现的更好，就去使用它。

以下是常见的选择情况：

1. 如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。
2. 如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数，但 Relu 的一个优点是：当是负值的时候，导数等于 0。
3. sigmoid 激活函数：除了输出层是一个二分类问题基本不会用它。
4. tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。
5. ReLu 激活函数：最常用的默认函数，如果不确定用哪个激活函数，就使用 ReLu 或者 Leaky ReLu，再去尝试其他的激活函数。
6. 如果遇到了一些死的神经元，我们可以使用 Leaky ReLU 函数。

3.4.6 使用 ReLu 激活函数的优点？

1. 在区间变动很大的情况下，ReLu 激活函数的导数或者激活函数的斜率都会远大于 0，在程序实现就是一个 if-else 语句，而 sigmoid 函数需要进行浮点四则运算，在实践中，使用 ReLu 激活函数神经网络通常会比使用 sigmoid 或者 tanh 激活函数学习的更快。
2. sigmoid 和 tanh 函数的导数在正负饱和区的梯度都会接近于 0，这会造成梯度弥散，而 Relu 和Leaky ReLu 函数大于 0 部分都为常数，不会产生梯度弥散现象。
3. 需注意，Relu 进入负半区的时候，梯度为 0，神经元此时不会训练，产生所谓的稀疏性，而 Leaky ReLu 不会产生这个问题。

3.4.7 什么时候可以用线性激活函数？

1. 输出层，大多使用线性激活函数。
2. 在隐含层可能会使用一些线性激活函数。
3. 一般用到的线性激活函数很少。

3.4.8 怎样理解 Relu（< 0 时）是非线性激活函数？

Relu 激活函数图像如下：

根据图像可看出具有如下特点：

1. 单侧抑制；

2. 相对宽阔的兴奋边界；

3. 稀疏激活性；

   ReLU 函数从图像上看，是一个分段线性函数，把所有的负值都变为 0，而正值不变，这样就成为单侧抑制。

   因为有了这单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性。

   稀疏激活性：从信号方面来看，即神经元同时只对输入信号的少部分选择性响应，大量信号被刻意的屏蔽了，这样可以提高学习的精度，更好更快地提取稀疏特征。当 $x<0$ 时，ReLU 硬饱和，而当 $x>0$ 时，则不存在饱和问题。ReLU 能够在 $x>0$ 时保持梯度不衰减，从而缓解梯度消失问题。

3.4.9 Softmax 定义及作用

Softmax 是一种形如下式的函数：
$$P(i)=\frac{exp({\theta }_i^{T}x)}{{\sum }_{k=1}^{K}exp({\theta }_i^{T}x)}$$
​ 其中，${\theta }_i$ 和 $x$ 是列向量，${\theta }_i^{T}x$ 可能被换成函数关于 $x$ 的函数 $f_i(x)$

​ 通过 softmax 函数，可以使得 $P(i)$ 的范围在 $[0,1]$ 之间。在回归和分类问题中，通常 $\theta$ 是待求参数，通过寻找使得 $P(i)$ 最大的 ${\theta }_i$ 作为最佳参数。

​ 但是，使得范围在 $[0,1]$ 之间的方法有很多，为啥要在前面加上以 $e$ 的幂函数的形式呢？参考 logistic 函数：
$$P(i)=\frac{1}{1+exp(-{\theta }_i^{T}x)}$$
​ 这个函数的作用就是使得 $P(i)$ 在负无穷到 0 的区间趋向于 0， 在 0 到正无穷的区间趋向 1,。同样 softmax 函数加入了 $e$ 的幂函数正是为了两极化：正样本的结果将趋近于 1，而负样本的结果趋近于 0。这样为多类别提供了方便（可以把 $P(i)$ 看做是样本属于类别的概率）。可以说，Softmax 函数是 logistic 函数的一种泛化。

​ softmax 函数可以把它的输入，通常被称为 logits 或者 logit scores，处理成 0 到 1 之间，并且能够把输出归一化到和为 1。这意味着 softmax 函数与分类的概率分布等价。它是一个网络预测多酚类问题的最佳输出激活函数。

参考文献

[1] Rosenblatt, F. The perceptron: A probabilistic model for information storage and organization in the brain.[J]. Psychological Review, 1958, 65(6):386-408.

[2] Duvenaud D , Rippel O , Adams R P , et al. Avoiding pathologies in very deep networks[J]. Eprint Arxiv, 2014:202-210.

[3] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 1988, 5(3): 1.

[4] Hecht-Nielsen R. Theory of the backpropagation neural network[M]//Neural networks for perception. Academic Press, 1992: 65-93.

[5] Felice M. Which deep learning network is best for you?| CIO[J]. 2017.

[6] Conneau A, Schwenk H, Barrault L, et al. Very deep convolutional networks for natural language processing[J]. arXiv preprint arXiv:1606.01781, 2016, 2.

[7] Ba J, Caruana R. Do deep nets really need to be deep?[C]//Advances in neural information processing systems. 2014: 2654-2662.

[8] Nielsen M A. Neural networks and deep learning[M]. USA: Determination press, 2015.

[9] Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.

[10] 周志华. 机器学习[M].清华大学出版社, 2016.

[11] Kim J, Kwon Lee J, Mu Lee K. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 1646-1654.

[12] Chen Y, Lin Z, Zhao X, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected topics in applied earth observations and remote sensing, 2014, 7(6): 2094-2107.

[13] Domhan T, Springenberg J T, Hutter F. Speeding up automatic hyperparameter optimization of deep neural networks by extrapolation of learning curves[C]//Twenty-Fourth International Joint Conference on Artificial Intelligence. 2015.

[14] Maclaurin D, Duvenaud D, Adams R. Gradient-based hyperparameter optimization through reversible learning[C]//International Conference on Machine Learning. 2015: 2113-2122.

[15] Srivastava R K, Greff K, Schmidhuber J. Training very deep networks[C]//Advances in neural information processing systems. 2015: 2377-2385.

[16] Bergstra J, Bengio Y. Random search for hyper-parameter optimization[J]. Journal of Machine Learning Research, 2012, 13(Feb): 281-305.

[17] Ngiam J, Khosla A, Kim M, et al. Multimodal deep learning[C]//Proceedings of the 28th international conference on machine learning (ICML-11). 2011: 689-696.

[18] Deng L, Yu D. Deep learning: methods and applications[J]. Foundations and Trends® in Signal Processing, 2014, 7(3–4): 197-387.

[19] Erhan D, Bengio Y, Courville A, et al. Why does unsupervised pre-training help deep learning?[J]. Journal of Machine Learning Research, 2010, 11(Feb): 625-660.

[20] Dong C, Loy C C, He K, et al. Learning a deep convolutional network for image super resolution[C]//European conference on computer vision. Springer, Cham, 2014: 184-199.

[21] 郑泽宇，梁博文，顾思宇.TensorFlow：实战Google深度学习框架（第2版）[M].电子工业出版社,2018.

[22] 焦李成. 深度学习优化与识别[M].清华大学出版社,2017.

[23] 吴岸城. 神经网络与深度学习[M].电子工业出版社,2016.

[24] Wei, W.G.H., Liu, T., Song, A., et al. (2018) An Adaptive Natural Gradient Method with Adaptive Step Size in Multilayer Perceptrons. Chinese Automation Congress, 1593-1597.

[25] Y Feng, Y Li.An Overview of Deep Learning Optimization Methods and Learning Rate Attenuation Methods[J].Hans Journal of Data Mining,2018,8(4),186-200.