（《机器学习》完整版系列）第5章 神经网络——5.1 误差逆传播算法（BP算法是梯度下降法的应用）

神经网络的概念来源于生物学（仿生），并受其启发，但神经网络的发展早已摆脱了仿生物学的思路。 该领域现在研究的热门方向为深度神经网络。
“标准BP算法”并不“标准”，真正使用的是累计BP算法（目标为最小化训练集$D$上的累计误差）。
BP算法是梯度下降法的应用。
梯度下降算法：在参数寻优的过程中需要避免目标函数陷入局部极小。生活中的例子：盲人下山很有可能下到半山上的一个深坑中，这个“坑”就是局部极小。 梯度下降法的每一步只能感觉当前下降最快的方向，这一点很像盲人，没有全局视野，“入坑”难免。
模拟退火法：不是防止“入坑”而是考虑如何“跳出坑”，策略是加入“碰运气”成份（随机扰动）
在梯度下降算法中每次随机地从训练集中取小批量进行训练，这种方法称为随机梯度下降法。

神经元模型

【西瓜书图5.1】所示为神经元模型的一种（M-P神经元模型）。

设激活函数为$f$，则该神经元的数学模型为
$$\begin{array}{rl}y& =f\left(\sum _{i=1}^n{w}_i{x}_i-\theta \right)\\ & =f\left(\sum _{i=1}^{n+1}{w}_i{x}_i\right)\end{array}\text{\hspace{1em}(5.1)(5.2)}$$
其中，式(5.1)变为式(5.2)是将阈值$\theta$作为$w_{n+1}$，对应为固定输入$x_{n+1}=-1$，即将$\mathbf{x}$扩一维后公式变简洁了，参考3.1 线性回归中式(5)的推导。

因生物学中的神经元的状态为兴奋与抑制，以1和0表示，故取标记为 y i ∈ { 1 , 0 } y_i \in \{1,0\} yi​∈{1,0}，对应的神经元输出为符号$\mathrm{sgn}$函数【西瓜书图5.2(a)】，然而，$\mathrm{sgn}$函数（也叫$\mathrm{sign}$函数）的数学性质不好（不连续），通常以$\mathrm{sigmoid}$函数逼近它【西瓜书图5.2(b)】，即式(5.1)与式(5.2)中取激活函数为$f(x)=\mathrm{sigmoid}(x)$。

注意调整字母：设数据集$\{({\mathbf{x}}_i,y_i){\}}_{i=1}^m$，其中，样本${\mathbf{x}}_i=(x_{i1};x_{i2};\cdots ;x_{in})$，二分类中对应的标记 y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{0,1}（或 y i ∈ { − 1 , 1 } y_i \in \{-1,1\} yi​∈{−1,1}），这时，由样本${\mathbf{x}}_i$在上述神经元中产生的输出值通常不记为$y_i$，而是记为${\hat{y}}_i$，因为，$y_i$已被标记所占用，即标记为 y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{0,1}（这是二元素的集合），神经元输出值为${\hat{y}}_i\in (0,1)$（这是区间）。

另外，回顾3.2 对数几率回归（逻辑回归）【西瓜书式(3.18)(3.19)】就可用这里的神经元模型（【西瓜书图5.1】右上角公式及【西瓜书图5.2(b)】的公式）来表达， 比较二者知：公式是一致的（记$\theta =-b$）。 即实际上对数几率回归是一个激活函数为$\mathrm{sigmoid}$的神经元模型。 然而，二者的解释意义反映不同的侧面：一个是从概率角度，一个是从神经元角度。 结合二者就是：神经元的输出可以视为样本为正例的概率。

感知机与多层网络

感知机实际上就是一个神经元【西瓜书图5.3】所示，只不过是将样本输入用一组结点表示（一个属性对应一个结点），形成输入层，而神经元（一个）充当了输出层。

设数据集$\{({\mathbf{x}}_i,y_i){\}}_{i=1}^m$，$f$取阶跃函数，现在我们对感知机进行训练：

（1）先任意初始化参数$\mathbf{w}$（含$\theta$的），记为${\mathbf{w}}_0$；

（2）任取一样本$\mathbf{x}$，将其输入到感知机（代入式(5.2)）得到$\hat{y}$，比较$\hat{y}$与$y$，若不符，则调整参数为${\mathbf{w}}_1$；

（3）再任取一样本$\mathbf{x}$，将其输入到感知机（代入式(5.2)）得到$\hat{y}$，比较$\hat{y}$与$y$，若不符，则再调整参数为${\mathbf{w}}_2$；

（4）以此类推，直到$\mathbf{w}$收敛。

上述调整$\mathbf{w}$的迭代式为【西瓜书式(5.1)(5.2)】，如果是线性可分的问题，则迭代式是收敛的，即经过足够的“时间步”之后，$\mathbf{w}$会（趋于）保持不变，其数学证明从略。 感知机视为两层（输入层和输出层）神经网络或一层功能层神经网络（输入层不运算），它适用于线性可分情况。

如果不是线性可分的问题，则迭代式不收敛，但可以构造含隐层的网络来解决（【西瓜书p.106】指出只需含足够多结点的单隐层即可）。 只要有隐层即称为多层，有足够多的层则称为深度学习网络。

误差逆传播算法

标准BP算法

【西瓜书图5.7】描述的是只含一个隐层（最简单的情况）的BP网络，除输入结点外，其余每个结点均为一个神经元。 为便于理解下面补充如下描述，一些约定俗成的知识可供读者作神经网络图时参照。

我们先改造样例的表示：设数据集 { ( x k , y k ) } k = 1 m , ( y k ∈ { 1 , 2 , ⋯   , l } ) \{(\boldsymbol{x}_k,y_k)\}_{k=1}^m,\quad (y_k \in \{1,2,\cdots,l\}) {(xk​,yk​)}k=1m​,(yk​∈{1,2,⋯,l})，将$l$个类别标识 { 1 , 2 , ⋯   , l } ) \{1,2,\cdots,l\}) {1,2,⋯,l})对应成$l$维向量：类1对应为$(1;0;\cdots ;0)$（第1位为1，其余全为0），类2对应为$(0;1;\cdots ;0)$（第2位为1，其余全为0），$\cdots$，类$l$对应为$(0;0;\cdots ;1)$（第$l$位为1，其余全为0），这组向量记为： { y j } j = 1 l \{\boldsymbol{y}_j\}_{j=1}^l {yj​}j=1l​，其中${\mathbf{y}}_j$表是第$j$行为1其余全为0的“独1”列向量。 这里为明确区别，将标记改为上标表示，即${\mathbf{y}}_j$表示类别$j$的标识向量，${\mathbf{y}}^k$表示样本${\mathbf{x}}_k$的标记向量。 在此改造下，数据集变为
{ ( x k , y k ) } k = 1 m ,   ( y k ∈ { y j } j = 1 l ) \{(\boldsymbol{x}_k,\boldsymbol{y}^k)\}_{k=1}^m,\ (\boldsymbol{y}^k \in \{\boldsymbol{y}_j\}_{j=1}^l) {(xk​,yk)}k=1m​, (yk∈{yj​}j=1l​)。 即样本是向量，标记也是向量（且为“独1”向量），对应到神经网络即是：输入是向量，输出也是向量。

再看图形特征：

（1）网络结构

• 输入层对应于样本$\mathbf{x}$向量，即输入层的结点数对应于样本$\mathbf{x}$的属性数$d$，每个属性对应一个结点，用属性$x_i$标识该结点；
• 输出层对应于输出向量，即输出层的结点数对应于上述类别向量的维度数$l$，用对应的类别标识$y_j$代表该结点数；
• 只有一个隐层，隐层的结点数没有限制，通常大于输入层和输出层结点；
• 从图形上看，层的编号是从底往上数的，输入层画在最底层。

（2）网络结点

• 不同层用不同的字母表示：输入层用$x$，输出层用$y$，隐层用$b$；
• 下标表示结点的序号；
• 下标变量也依层而异：$i,j,h$对应到$x_i,y_j,b_h$。

（3）网络连线

• 同层内没有连线；
• 邻层间“全连接”，且为有向连接线（从低层指向高层，常省略箭头）；
• 每条连线上都有权重，如，第一层线的权重用字母$v$表示，第二层线的权重用字母$w$表示；
• 权重字母下标标识连接线的起点与终点，如，$w_{hj}$表示$b_h$到$y_j$的有向连线上的权重。

（4）神经元

• 除输入结点外，每个结点都为一个神经元；
• 神经元的输入：从有向连线的视角来看，结点的输入为每条入线之和，而每条入线的值为该线的起点值乘以该线的权重。 即每个神经元都有一个加权输入：如，$y_j$的加权输入为${\sum }_{h=1}^q{w}_{hj}{b}_h$，【西瓜书图5.7右上角】记为${\beta }_j$；
• 神经元的阈值：同层的神经元的阈值用同一字母，如，隐层的为$\theta$，输出层的为$\gamma$，阀的下标与该结点的下标一致，如，${\theta }_j$表示结点$y_j$的阈值，${\gamma }_h$表示结点$b_h$的阈值；
• 神经元的输出：神经元依输入（加权和）、阈值经过激活函数产生输出【西瓜书图5.1右上角公式】，所有神经元的激活函数均使用对数几率函数【西瓜书图5.2(b)】。

前述我们知道：样本向量的标记为向量，神经网络的输出（一组神经元的输出）也是向量，那么，这个向量有什么要求？
$$\begin{array}{r}{\hat{\mathbf{y}}}^k=({\hat{y}}_1^k;{\hat{y}}_2^k;\cdots ;{\hat{y}}_l^k)\end{array}\text{\hspace{1em}(5.3)}$$

由于所有神经元的激活函数均使用对数几率函数，故${\hat{y}}_j^k$为连续值，训练的目标就是希望以连续型向量${\hat{\mathbf{y}}}^k$式(5.3)预测离散型的“独1”向量${\mathbf{y}}^k$，由此构造均方误差$E_k$【西瓜书式(5.4)】。 将$E_k$中的$k$视为“时间步”，希望足够的“时间步”后，$E_k$达到最小值。
注：（1）这里将${\mathbf{y}}^k$视为样本${\mathbf{x}}^k$的真值，而不是观察值；（2）前面以分类导出${\mathbf{y}}^k$为“独1”向量，其实${\mathbf{y}}^k$推广到了一般情形：${\mathbf{y}}^k\in {\mathbb{R}}^l$，参见3.3 线性判别分析LDA中的多分类LDA。

在实际训练中，$k$亦可为样本的编号，当样本足够多时，依样本的次序对$E_k$进行训练，直至收敛到最小值即可。 然而，通常样本数小于训练所需的“时间步”数，这就要重复使用样本了。

用$({\mathbf{x}}_k,{\mathbf{y}}^k)$训练$E_k$的基本思路即为误差逆向传播（BP算法），要点为：

（1）用梯度下降法寻找目标$E_k$的负梯度方向（下降最快的方向），即【西瓜书式(5.6)】，参见【西瓜书第B.4节梯度下降法】，其中$\eta \in (0,1)$为学习率，它控制更新的步长：步子太大可能会越过最优点，步子太小则收敛速度太慢；

（2）利用偏导数的链式法则，将上述梯度化为沿“逆向路径”的偏导数。

（3）利用对数几率函数求导的良好性质，得到更新公式【西瓜书式(5.11)$\sim$(5.14)】。

我们重点推导【西瓜书式(5.10)】：
$$\begin{array}{rl}\frac{\partial E_k}{\partial {\hat{y}}_j^k}& ={\hat{y}}_j^k-y_j^k\text{（由【西瓜书式(5.4)）】}\\ \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}& =\frac{\partial f({\beta }_j-{\theta }_j)}{\partial ({\beta }_j-{\theta }_j)}\text{（由【西瓜书式(5.3)】）}\\ & =f^{\prime }({\beta }_j-{\theta }_j)\\ & =f({\beta }_j-{\theta }_j)[1-f({\beta }_j-{\theta }_j)]\text{（由【西瓜书式(5.9)）】}\\ & ={\hat{y}}_j^k(1-{\hat{y}}_j^k)\text{（由【西瓜书式(5.3)】）}\\ \text{定义}{g}_j& \stackrel{\mathrm{def}}{=}-\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\\ \text{则}{g}_j& ={\hat{y}}_j^k(1-{\hat{y}}_j^k)({\hat{y}}_j^k-y_j^k)\end{array}\text{\hspace{1em}(5.4)}$$

综上，得到“标准BP算法”【西瓜书图5.8】。

神经网络的输入为数字特征，然而，有时数据集（如，【西瓜书表4.3】中，“色泽” ∈ { 青绿，乌黑，㳀白 } \in\{ \text {青绿}，\text{乌黑}，\text{㳀白}\} ∈{青绿，乌黑，㳀白}）包含有非数字特征，需要进行数字化。 我们将这种“数据字典式”的特征改造为“判断式”（1表示是，0表示不是），即以(1,0,0)、(0,1,0)、(0,0,1)分别表示这三种色泽，这样，特征“色泽”由一维扩展成了三维，实现了数字化。 相应地增加输入层的结点数 。

累计BP算法

其实，“标准BP算法”并不“标准”，因为，训练的真正目标应是最小化训练集$D$上的累计误差，即目标函数为
$$\begin{array}{r}E=\frac{1}{m}\sum _{k=1}^m{E}_k\end{array}\text{\hspace{1em}(5.5)}$$
对网络训练时，每一时间步用全体$D$数据（批量），这显然与“标准BP算法”每一时间步使用$D$中一个样本（编号为$k$的）不同。 即“标准BP算法”是一个变通做法。

这里，我们推导和讨论累计BP算法。

【西瓜书式(5.7)】与$k$有关，为不丢失这个特点，可将【西瓜书式(5.10)】中的$g_j$改记为$g_j^k$（$k$为样本编号，不是指数。另外，这里涉及样本编号标识$k$、网络结点编号标识，如$j$，其实，还有参数训练的轮次标识，这个通常省略），这样就有：
$$\begin{array}{rl}\frac{\partial E_k}{\partial w_{hj}}& =-g_j^k{b}_h\text{（由【西瓜书式(5.6)(5.11)】）}\\ \Delta w_{hj}& =-\eta \frac{\partial E}{\partial w_{hj}}\\ & =-\eta \frac{1}{m}\sum _{k=1}^m\frac{\partial E_k}{\partial w_{hj}}\text{（由式(5.5)）}\\ & =-\eta \frac{1}{m}\sum _{k=1}^m(-g_j^k{b}_h)\text{（由式(5.6)）}\\ & =\eta \frac{b_h}{m}\sum _{k=1}^m{g}_j^k\end{array}\text{\hspace{1em}(5.6)(5.7)}$$

用同样方法去推导$\Delta {\theta }_j,\Delta v_{ih},\Delta {\gamma }_h$。 由此即可得到相关的迭代更新公式。 公式中的${\sum }_{k=1}^m$表示使用完训练集中的全部数据之后，才做一次参数更新，称为“一轮”（epoch），算法需要一轮一轮地使用训练集，直至参数迭代式收敛。

另外，也可以每轮并不使用训练集的全量数据，而仅从训练集中随机地取固定大小的小批量数据进行训练，在训练集非常大时常这样做。

正则化

为避免过拟合问题，常将式(5.5)进行正则化，得到目标函数【西瓜书式(5.17)】，进一步可将其第二项改为在一轮中的平均值（$\frac{1}{m}\sum$）。

$$\begin{array}{rl}E& =\lambda \frac{1}{m}\sum _{k=1}^m{E}_k+(1-\lambda )\frac{1}{m}\sum _{k=1}^m[\sum _i(w_i^k{)}^2]\\ & =\frac{1}{m}\sum _{k=1}^m\left[\lambda E_k+(1-\lambda )\sum _i(w_i^k{)}^2\right]\\ & \stackrel{\mathrm{def}}{=}\frac{1}{m}\sum _{k=1}^m{\tilde{E}}_k\end{array}\text{\hspace{1em}(5.8)}$$

比较式(5.8)与式(5.5)，知${\tilde{E}}_k$的地位等同于$E_k$的地位，如是可以将前述“标准BP算法”改造为正则化的“标准BP算法”：

（1）对应于【西瓜书式(5.4)】的$E_k$， 为二次式的求导方便，将${\tilde{E}}_k$的式子配上$\frac{1}{2}$，则
$$\begin{array}{rl}{\tilde{E}}_k& =\frac{\lambda }{2}\sum _{j=1}^l({\hat{y}}_j^k-y_j^k{)}^2+\frac{(1-\lambda )}{2}\sum _i(w_i^k{)}^2\\ & =\frac{\lambda }{2}\sum _{j=1}^l({\hat{y}}_j^k-y_j^k{)}^2+\frac{(1-\lambda )}{2}\sum _{j=1}^{l+1}\sum _{h=1}^q(w_{hj}^k{)}^2\end{array}\text{\hspace{1em}(5.9)}$$
其中，$\lambda$为超参数，${\sum }_i(w_i^k{)}^2$是针对所有$w_{\ast }$权重，即为${\sum }_{j=1}^{l+1}{\sum }_{h=1}^q(w_{hj}^k{)}^2$，其中$l+1$表示$\theta$并入了$w_{\ast }$。

（2）将梯度下降从应用于$E_k$改为应用于${\tilde{E}}_k$，类似地得到各网络参数的迭代更新公式。

（3）用上述迭代更新公式取代BP算法【西瓜书图5.8】中对应的迭代式，其中，除学习率$\eta$外，新增超参数$\lambda$。

为确定超参数$\lambda$，取若干不同的$\lambda$值，视为不同的模型，记为${\mathrm{BP}}_{\lambda }$，使用第2章的评估方法（如，交叉验证法），对各${\mathrm{BP}}_{\lambda }$进行性能评估，从而找出最优的${\lambda }_{\ast }$，则${\mathrm{BP}}_{{\lambda }_{\ast }}$网络即为所求。

“跳出”局部极小

在参数寻优的过程中需要避免目标函数陷入局部极小。

生活中的例子：盲人下山很有可能下到半山上的一个深坑中，这个“坑”就是局部极小。 梯度下降法的每一步只能感觉当前下降最快的方向，这一点很像盲人，没有全局视野，“入坑”难免，因此，不是防止“入坑”而是考虑如何“跳出坑”，策略是加入“碰运气”成份（随机扰动）：

• 让多个盲人各自从不同的点下山（即不同的随机起点），有一人到达山脚即可。 这就是对参数进行不同的初始化，依每个初始化训练出不同的神经网络模型实例（不同的盲人），然后比较各自的最优目标函数值，找到最小者（到达山脚的盲人）；
• 每一步以一定的概率接受比当前更差的结果，即盲人本来是下山，但在每一步以一定的概率“上山”（在下山过程中偶尔“斜上”走一步），不时地改变一下路径，借用冶炼中的术语“退火法”，叫它为“模拟退火法”；
• 在计算梯度时，加入随机因素，在大方向的指引下，每步都被“干扰”地走偏，曲折地前行。 如，在梯度下降算法中每次随机地从训练集中取小批量进行训练，这种方法称为随机梯度下降法。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：4.5 决策树算法中涉及的准则（叶子、划分、剪枝）
下一篇：5.2 RBF网络（单层RBF就可解决异或问题）与ART网络（实现“自适应谐振”）