PyTorch深度学习（四）：神经网络（上）——理论推导

PyTorch深度学习（四）：神经网络（上）——理论推导

---

一、感知机(Perceptron)

1.感知机概述

感知机是一个二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取 $+1$（正类）、$-1$（负类）

设输入空间（特征空间）为 $\mathbf{x}=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\subseteq R^n$， 输出空间为 y = { + 1 , − 1 } y=\{+1,-1\} y={+1,−1}，输入 ${\mathbf{x}}^{(i)}$ 表示实例的特征向量，对应于输入空间（特征空间）$\mathbf{x}$ 的点，输出 $y^{(i)}\in y$ 表示实例的类别，则由输入空间到输出空间有如下映射：
$$f(x)=sign(⟨\mathbf{w},\mathbf{x}⟩+b)$$

其中 $f(x)=sign(x)$ 为符号函数，表示如下：
$$sign(x)=\{\begin{array}{ll}1,& x>0\\ 0,& x=0\\ -1,& x<0\end{array}$$

它利用了上一章所讲的线性回归为基础，因此，感知机模型可以用线性方程来做几何解释：

感知机是一种线性分类模型，它分为两部分：线性部分、激活函数。如图所示，它可以根据输入空间（特征空间）的线性回归值：$⟨\mathbf{w},\mathbf{x}⟩+b$，其中，$\mathbf{w}$ 为线性方程的权重，$\mathbf{x}$ 为输入空间（特征空间），$b$ 为偏差，得到线性回归值 $⟨\mathbf{w},\mathbf{x}⟩+b$ 后，再将该线性回归值输入到 $f(x)=sign(x)$ 的激活函数中，即可得到分类结果 $y=\text{Output}$，感知机将最终结果分为两类，如下：
$$y=\{\begin{array}{ll}正类(+1)& ,o_1=⟨\mathbf{w},\mathbf{x}⟩+b>0\\ 负类(-1)& ,o_1=⟨\mathbf{w},\mathbf{x}⟩+b<0\\ 0& ,o_1=⟨\mathbf{w},\mathbf{x}⟩+b=0\end{array}$$

注意，传统的感知机使用的激活函数是 $sign(x)$，这里先提一下：感知机激活函数必须是非线性的，后面再分析原因

若用几何来解释，则在空间中，空间被一超平面 $⟨\mathbf{w},\mathbf{x}⟩+b$ 划分为两个空间，当样本点位于该超平面的上方，即 $⟨\mathbf{w},\mathbf{x}⟩+b>0$ 时，则被分为正类；当样本点位于该超平面的下方，即 $⟨\mathbf{w},\mathbf{x}⟩+b<0$ 时，则被分为负类，以猫狗分类为例，如图：

当然，非线性函数（激活函数） 除了符号函数 $sign(x)$ 外，还可以使用其他函数，如：阶跃函数 $u(x)$，当 $x>0$ 时分为正类 $+1$，当 $x<0$ 时分为负类 $0$

2.感知机学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点分开的超平面 $S$：$⟨\mathbf{w},\mathbf{x}⟩+b$

为了找出这样的超平面，需要定义一个损失函数并将损失函数极小化，感知机采用了：误分类点到超平面 $S$ 的总距离作为损失函数，为此，我们先写出输入空间 $R^n$ 中任一点 ${\mathbf{x}}_0$ 到超平面的距离：
$$d=\frac{\mid ⟨\mathbf{w},{\mathbf{x}}_0⟩+b\mid }{||\mathbf{w}||}，其中||\mathbf{w}||=\sqrt{(\sum _i{w}_i{)}^2}$$

这里 $||\mathbf{w}||$ 是 $\mathbf{w}$ 的 $L_2$ 范数，但是距离 $d$ 的公式中包含绝对值，不易求导，需要进行处理

对于误分类的数据 $(x^{(i)},y^{(i)})$ 来说，这些数据满足：
$$y^{(i)}(⟨\mathbf{w},{\mathbf{x}}^{(i)}⟩+b)<0$$

因为真实类 $y^{(i)}$ 和预测类 $⟨\mathbf{w},{\mathbf{x}}^{(i)}⟩+b$ 的正负相反了，因此它们相乘为负

因此，误分类点 $x^{(i)}$ 到超平面 $S$ 的距离是：
$$d=-\frac{y^{(i)}(⟨\mathbf{w},{\mathbf{x}}^{(i)}⟩+b)}{||\mathbf{w}||}$$

这样就可以把原公式中的绝对值去掉了，假设超平面 $S$ 的误分类点集合为 $M$，那么所有误分类点到超平面的距离总和为：
$$-\frac{1}{||\mathbf{w}||}\sum _{x^{(i)}\in M}{y}^{(i)}(⟨\mathbf{w},{\mathbf{x}}^{(i)}⟩+b)$$

由于 $\frac{1}{||\mathbf{w}||}$ 是常数，因此不用考虑 $\frac{1}{||\mathbf{w}||}$，于是可以得到感知机学习的损失函数：

设数据集 T = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . , ( x ( N ) , y ( N ) ) } T=\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(N)},y^{(N)})\} T={(x(1),y(1)),(x(2),y(2)),...,(x(N),y(N))}，其中 $x^{(i)}\in R^n$， y ( i ) ∈ { + 1 , − 1 } y^{(i)}\in\{+1,-1\} y(i)∈{+1,−1}，$M$ 为误分类点集合，则感知机 $sign(⟨\mathbf{w},\mathbf{x}⟩+b)$ 学习的损失函数定义为：
$$L(\mathbf{w},b)=-\sum _{x^{(i)}\in M}{y}^{(i)}(⟨\mathbf{w},{\mathbf{x}}^{(i)}⟩+b)$$

显然，损失函数是非负的，如果没有误分类点，损失函数值为 $0$，而且，误分类点越少，误分类点离超平面 $S$ 的总距离越近，损失函数值就越小，且该损失函数是连续可导的

3.感知机学习算法

在得到感知机的损失函数后，就需要通过算法来找到损失函数的极小值，由于损失函数是连续可导的，因此我们仍然使用梯度下降法，在使用梯度下降法之前，需要任意选取一超平面 ${\mathbf{w}}_0,b_0$ 作为初始值

假定误分类点集合 $M$ 是固定的，那么损失函数 $L(\mathbf{w},b)$ 的梯度由下式给出：
$${\nabla }_{\mathbf{w}}L(\mathbf{w},b)=-\sum _{x^{(i)}\in M}{y}^{(i)}{x}^{(i)}$$

$${\nabla }_{b}L(\mathbf{w},b)=-\sum _{x^{(i)}\in M}{y}^{(i)}，\because x_0=1$$

感知机使用随机梯度下降来更新权重，设选择误分类点 $(x^{(i)},y^{(i)})$ 来对 $\mathbf{w},b$ 进行更新，则：
$$w_i⟸w_i+\eta y^{(i)}{x}^{(i)}$$

$$b⟸b+\eta y^{(i)}$$

式中，$\eta (0<\eta \le 1)$ 是步长，即学习率，这样，通过小批量梯度下降，可以使 $L(\mathbf{w},b)$ 不断减小，直到收敛，当然，上述的过程都是在数据集线性可分的假设上进行的，若数据集线性不可分，则 $L(\mathbf{w},b)$ 不能收敛，可以通过指定训练次数或指定满意的 $L(\mathbf{w},b)$ 值作为训练结束标志

注意，上述过程是在误分类样本上进行的

4.感知机的收敛定理（Novikoff定理）

设训练数据集 T = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . , ( x ( N ) , y ( N ) ) } T=\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(N)},y^{(N)})\} T={(x(1),y(1)),(x(2),y(2)),...,(x(N),y(N))} 是线性可分的，其中 $x^{(i)}\in R^n$， y ( i ) ∈ { + 1 , − 1 } y^{(i)}\in\{+1,-1\} y(i)∈{+1,−1}，则：

（1）存在满足条件 $||{\hat{\mathbf{w}}}_{opt}||=1$ 的超平面 ${\hat{\mathbf{w}}}_{opt}\cdot \hat{\mathbf{x}}={\mathbf{w}}_{opt}\cdot \mathbf{x}+b$ 将训练数据集完全正确分开；且存在 $\gamma >0$，对所有 $i=1,2,...,N$：
$$y^{(i)}({\hat{\mathbf{w}}}_{opt}\cdot \hat{\mathbf{x}})=y^{(i)}({\mathbf{w}}_{opt}\cdot \mathbf{x}+b_{opt})\ge \gamma$$

（2）令 $R=\underset{1<i<N}{\max }||{\hat{x}}_i||$，则感知机在训练数据集上的误分类次数 $k$ 满足不等式：
$$k\le {\left(\frac{R}{\gamma }\right)}^2$$

证明：

（1） 因为训练数据是线性可分的，因此存在超平面可使得数据完全分开，记该超平面为：
$$S_{opt}:{\mathbf{w}}_{opt}\cdot \mathbf{x}+b_{opt}=0$$

把 $b$ 设为 $w_0$，则 $\hat{\mathbf{w}}=(w_0,w_1,w_2,...,w_n)$，把 $x_0=1$ 引入 $\mathbf{x}$ 中，记为 $\hat{\mathbf{x}}$，则：
$$\hat{\mathbf{w}}\cdot \hat{\mathbf{x}}=⟨\mathbf{w},\mathbf{x}⟩+b=\mathbf{w}\cdot \mathbf{x}+b$$

因为是线性方程，因此设 $||{\hat{\mathbf{w}}}_{opt}||=1$ 并不失一般性， 则：
$${\hat{\mathbf{w}}}_{opt}\cdot \hat{\mathbf{x}}={\mathbf{w}}_{opt}\cdot \mathbf{x}+b_{opt}=0，||{\hat{\mathbf{w}}}_{opt}||=1$$

对于 $i=1,2,...,N$，样本均被正确分类，有：
$$y^{(i)}({\hat{\mathbf{w}}}_{opt}\cdot {\hat{\mathbf{x}}}^{(i)})=y^{(i)}({\mathbf{w}}_{opt}\cdot {\mathbf{x}}^{(i)}+b_{opt})>0$$

$$令min[y^{(i)}({\hat{\mathbf{w}}}_{opt}\cdot {\hat{\mathbf{x}}}^{(i)})]=\gamma >0$$

$$则：y^{(i)}({\hat{\mathbf{w}}}_{opt}\cdot {\hat{\mathbf{x}}}^{(i)})=y^{(i)}({\mathbf{w}}_{opt}\cdot \mathbf{x}+b_{opt})\ge \gamma$$

定理（1）表明，被正确分类的样本点与超平面 $S$ 之间是存在一定的距离 $\gamma$ 的

（2） 设感知机算法从 ${\hat{\mathbf{w}}}_0=0$ 开始，如果实例被误分类，则更新权重，令 ${\hat{\mathbf{w}}}_{k-1}$ 是第 $k$ 个误分类实例之前的权重，即：
$${\hat{\mathbf{w}}}_{k-1}=({\mathbf{w}}_{k-1}^T,b_{k-1}{)}^T$$

则第 $k$ 个误分类实例应满足条件：
$$y_i⟨{\hat{\mathbf{w}}}_{k-1},{\hat{\mathbf{x}}}_i⟩=y_i({\mathbf{w}}_{k-1}\cdot {\mathbf{x}}_i+b_{k-1})\le 0$$

若 $(x^{(i)},y^{(i)})$ 是被 ${\hat{\mathbf{w}}}_{k-1}=({\mathbf{w}}_{k-1}^T,b_{k-1}{)}^T$ 误分类的数据（第 $k$ 个误分类实例），则 $\mathbf{w}$ 和 $b$ 的更新是：
$${\mathbf{w}}_k⟸{\mathbf{w}}_{k-1}+\eta y^{(i)}{\mathbf{x}}^{(i)}$$

$$b_k⟸b_{k-1}+\eta y^{(i)}$$

即
$${\hat{\mathbf{w}}}_k⟸{\hat{\mathbf{w}}}_{k-1}+\eta y^{(i)}{\hat{\mathbf{x}}}^{(i)}$$

在证明定理（2）前，先证明两个不等式：
$${\hat{\mathbf{w}}}_k\cdot {\hat{\mathbf{w}}}_{opt}\ge k\eta y\text{\hspace{1em}(4.1)}$$

$$||{\hat{\mathbf{w}}}_k|{|}^2\le k{\eta }^2{R}^2\text{\hspace{1em}(4.2)}$$

证明不等式 (4.1)：
$$\begin{array}{rl}{\hat{\mathbf{w}}}_k\cdot {\hat{\mathbf{w}}}_{opt}& =({\hat{\mathbf{w}}}_{k-1}+\eta y^{(i)}{\hat{x}}^{(i)})\cdot {\hat{\mathbf{w}}}_{opt}\\ & ={\hat{\mathbf{w}}}_{k-1}\cdot {\hat{\mathbf{w}}}_{opt}+\eta y^{(i)}{\hat{\mathbf{x}}}^{(i)}\cdot {\hat{\mathbf{w}}}_{opt}\\ & \ge {\hat{\mathbf{w}}}_{k-1}\cdot {\hat{\mathbf{w}}}_{opt}+\eta \gamma \end{array}$$

最后一步是根据定理（1）得到的，由此递推不等式，得：
$$\begin{array}{rl}{\hat{\mathbf{w}}}_k\cdot {\hat{\mathbf{w}}}_{opt}& \ge {\hat{\mathbf{w}}}_{k-1}\cdot {\hat{\mathbf{w}}}_{opt}+\eta \gamma \\ & \ge {\hat{\mathbf{w}}}_{k-2}\cdot {\hat{\mathbf{w}}}_{opt}+2\eta \gamma \\ & \ge ...\\ & \ge k\eta \gamma \end{array}$$

证明不等式 (4.2)：
$$\begin{array}{rl}||{\hat{\mathbf{w}}}_k|{|}^2& =||{\hat{\mathbf{w}}}_{k-1}+\eta y^{(i)}{\hat{\mathbf{x}}}^{(i)}|{|}^2\\ & =||{\hat{\mathbf{w}}}_{k-1}|{|}^2+2\eta y^{(i)}{\hat{\mathbf{w}}}_{k-1}\cdot {\hat{\mathbf{x}}}^{(i)}+{\eta }^2(y^{(i)}{)}^2||{\hat{\mathbf{x}}}^{(i)}|{|}^2\\ & =||{\hat{\mathbf{w}}}_{k-1}|{|}^2+2\eta y^{(i)}{\hat{\mathbf{w}}}_{k-1}\cdot {\hat{\mathbf{x}}}^{(i)}+{\eta }^2||{\hat{\mathbf{x}}}^{(i)}|{|}^2\\ & \le ||{\hat{\mathbf{w}}}_{k-1}|{|}^2+{\eta }^2||{\hat{\mathbf{x}}}^{(i)}|{|}^2\le ||{\hat{\mathbf{w}}}_{k-1}|{|}^2+{\eta }^2{R}^2\\ & \le ||{\hat{\mathbf{w}}}_{k-2}|{|}^2+2{\eta }^2{R}^2\le ...\le k{\eta }^2{R}^2\end{array}$$

综上所述，根据不等式 (4.1) 和 (4.2) 和 施瓦兹不等式，有：
$$k\eta \gamma \le {\hat{\mathbf{w}}}_k\cdot {\hat{\mathbf{w}}}_{opt}\le ||{\hat{\mathbf{w}}}_k||||{\hat{\mathbf{w}}}_{opt}||=||{\hat{\mathbf{w}}}_k||\le \sqrt{k}\eta R$$

$$k^2{\gamma }^2\le k{R}^2$$

于是
$$k\le {\left(\frac{R}{\gamma }\right)}^2$$

定理（2）表明，误分类的次数 $k$ 是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的超平面 $S$

---

二、神经网络(Neural Network)、多层感知机(Multilayer Perceptron-MLP)

感知机可以解决二分类问题，然而，它只能对线性可分的训练集进行分类，不能解决异或(XOR)问题，如图所示：

作一条直线 $f(\mathbf{x})=⟨\mathbf{w},\mathbf{x}+b⟩$，无论直线如何摆放都无法解决异或(XOR)问题，这使得深度学习的发展进入了几十年的寒冬…

1.由XOR问题引出MLP和NN

虽然一条直线无法解决数据非线性可分的问题——感知机，但使用多条直线是可以解决样本非线性可分时的分类问题的——多层感知机，如图：

如上图所示，我们可以先通过蓝色的直线，将 $①③$ 分为正类 “$+$”，将 $②④$ 分为负类 “$-$”；再通过橘色的直线，将 $①②$ 分为正类 “$+$”，将 $③④$ 分为负类 “$-$”

经过 “蓝色直线” 和 “橘色直线” 的分类以后，再将他们各自的结果进行合并（相乘），最终可以得到正确的分类

这个时候，感知机已经由单层变为了多层感知机，其中 “蓝色直线” 和 “橘色直线” 所代表的分类过程分别是中间层的两个节点，也称为感知机的隐藏层

我们可以继续增加多个输入层、隐藏层、输出层的节点，就可以构成复杂的多层感知机，如图：

• 为了增加 多层感知机(MLP) 模型的表达能力，它可以包含更多个隐藏层，一个隐藏层又可以包含多个节点
• 从一层隐藏层的每个节点来看，都是一个线性模型加上一个激活函数，如：$sign(x)$
• 除了每一层的 $\mathbf{w}$ 和 $b$ 外，隐藏层节点个数和隐藏层的个数也成为超参数
• 一般来说，随着网络层数的逐渐加深，隐藏层各层的节点个数会越来越少，因为假设数据比较复杂，那么输入向量是很高维的，而输出是相对较少的（二分类，多分类），因此输入特征向量在经过隐藏层后后会逐渐压缩
• 各输出节点的输出值可以代表输入样本属于某一类别的可能性，即某一节点输出值越大，则该输入样本就越有可能属于这一类别，可能需要 One-Hot Encoding，即输出是一个由元素 { 0 , 1 } \{0,1\} {0,1} 组成的向量

🔺 多层感知机构成了神经网络，实际上，多层感知机(MLP)就是我们通常所说的神经网络(NN)

2.神经网络的预测——前向传播(Forward Propagation)

前向传播是指输入特征向量 $\mathbf{x}=[x_1,x_2,...,x_n{]}^T$ 从神经网络的第一层逐渐从高层传递，最终得到一个或多个输出的过程

以三层神经网络为例，输入特征向量 $\mathbf{x}=[x_1,x_2,x_3{]}^T\in R^3$，输出数据是二维的。为方便描述，规定从第 $l-1$ 层的第 $k$ 个神经元到第 $l$ 层的第 $j$ 个神经元的权重为 $w_{jk}^{(l)}$，第 $l$ 层的第 $j$ 个神经元对应的偏差定义为 $b_j^{(l)}$，第 $l$ 层第 $j$ 个神经元的激活值（输出值）为 $a_j^{(l)}$，假设激活函数为 $\sigma (z)$，如图所示：

则对于第二层，它的输入是特征向量 $\mathbf{x}=[x_1,x_2,x_3{]}^T$，它的输出为：
$$a_1^{(2)}=\sigma (z_1^{(2)})=\sigma (w_{11}^{(2)}{x}_1+w_{12}^{(2)}{x}_2+w_{13}^{(2)}{x}_3+b_1^{(2)})$$

$$a_2^{(2)}=\sigma (z_2^{(2)})=\sigma (w_{21}^{(2)}{x}_1+w_{22}^{(2)}{x}_2+w_{23}^{(2)}{x}_3+b_2^{(2)})$$

$$a_3^{(2)}=\sigma (z_3^{(2)})=\sigma (w_{31}^{(2)}{x}_1+w_{32}^{(2)}{x}_2+w_{33}^{(2)}{x}_3+b_3^{(2)})$$

对于第三层，它的输入是第二层的激活值（输出值）→$[a_1^{(2)},a_2^{(2)},a_3^{(2)}{]}^T$，同时这是输出层 $\mathbf{y}=[y_1,y_2{]}^T$，它的输出为：
$$y_1=a_1^{(3)}=\sigma (z_1^{(3)})=\sigma (w_{11}^{(3)}{a}_1^{(2)}+w_{12}^{(3)}{a}_2^{(2)}+w_{13}^{(3)}{a}_3^{(2)}+b_1^{(3)})$$

$$y_2=a_2^{(3)}=\sigma (z_2^{(3)})=\sigma (w_{21}^{(3)}{a}_1^{(2)}+w_{22}^{(3)}{a}_2^{(2)}+w_{23}^{(3)}{a}_3^{(2)}+b_2^{(3)})$$

若将式子推广到第 $l$ 层第 $j$ 个神经元，设第 $l-1$ 层有 $N_{l-1}$ 个神经元，则有：
$$a_j^{(l)}=\sigma (z_j^{(l)})=\sigma (\sum _{i\in N_{l-1}}{w}_{ji}^{(l)}{a}_i^{(l-1)}+b_j^{(l)})$$

用公式来表示各层的输入输出关系过于复杂，我们不妨使用矩阵来代替。假设第 $l-1$ 层有 $n$ 个神经元，第 $l$ 层有 $m$ 个神经元，规定从第 $l-1$ 层的第 $k$ 个神经元到第 $l$ 层的第 $j$ 个神经元的权重为 $w_{jk}^{(l)}$，第 $l$ 层的偏差 $b$ 组成向量 ${\mathbf{b}}^{(l)}\in R^{m\times 1}$
$${\mathbf{W}}^{(l)}=\left[\begin{array}{cccc}{w}_{11}^{(l)}& w_{12}^{(l)}& \cdots & w_{1n}^{(l)}\\ w_{21}^{(l)}& w_{22}^{(l)}& \cdots & w_{2n}^{(l)}\\ ⋮& ⋮& \ddots & ⋮\\ w_{m1}^{(l)}& w_{m2}^{(l)}& \cdots & w_{mn}^{(l)}\end{array}\right]=\left[\begin{array}{c}{\mathbf{w}}_1^{(l)}\\ {\mathbf{w}}_2^{(l)}\\ ⋮\\ {\mathbf{w}}_m^{(l)}\end{array}\right]，{\mathbf{b}}^{(l)}=\left[\begin{array}{c}{b}_1^{(l)}\\ b_2^{(l)}\\ ⋮\\ b_m^{(l)}\end{array}\right]$$

上式表示，第 $l-1$ 层到第 $l$ 层第 $j$ 个节点的权重 ${\mathbf{w}}_j^{(l)}$ 构成矩阵 ${\mathbf{W}}^{(l)}\in R^{m\times n}$

第 $l$ 层的线性回归值为向量 ${\mathbf{z}}^{(l)}$，激活值（输出值）为向量 ${\mathbf{a}}^{(l)}$
$${\mathbf{z}}^{(l)}=\left[\begin{array}{c}{z}_1^{(l)}\\ z_2^{(l)}\\ ⋮\\ z_m^{(l)}\end{array}\right]，{\mathbf{a}}^{(l)}=\left[\begin{array}{c}{a}_1^{(l)}\\ a_2^{(l)}\\ ⋮\\ a_m^{(l)}\end{array}\right]$$

则第 $l$ 层的输出用矩阵可以表示为：
$${\mathbf{a}}^{(l)}=\sigma ({\mathbf{z}}^{(l)})=\sigma ({\mathbf{W}}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)})$$

其中，$\sigma ({\mathbf{z}}^{(l)})$ 表示 ${\mathbf{z}}^{(l)}$ 中的每个元素分别代入函数 $\sigma (x)$ 中分别得到一个值，即 ${\mathbf{z}}_{(m\times 1)}^{(l)}⟹\sigma (x)⟹{\mathbf{a}}_{(m\times 1)}^{(l)}$

3.神经网络损失函数的反向传播(Back Propagation-BP)

📘 在本节中，蓝字公式是非常重要的结论

在 神经网络(NN) 模型的超参数设置完成后，需要对模型各权重和偏差进行更新，由于存在多层的网络结构，因此无法直接对中间的隐藏层层利用损失值来更新权重，但可以利用损失从后到前的反向传播来进行参数的估计，即反向传播求导

设输入特征向量为 $\mathbf{x}=[x_1,x_2,...,x_n{]}^T$，各层权重为矩阵 ${\mathbf{W}}^{(l)}$，各层偏差为 ${\mathbf{b}}^{(l)}$，网络总层数为 $L$（即第 $L$ 层表示输出层），设输出节点个数为 $M$，其中 ${\mathbf{a}}^{(l)}$ 表示第 $l$ 层的输出向量，${\mathbf{z}}^{(l)}$ 表示第 $l$ 层的回归值的向量

同样地，我们通常引入均方误差损失函数来衡量模型的好坏，我们用矩阵和向量的形式来表达，则神经网络的损失为：
$$J(\mathbf{W},\mathbf{b})=\frac{1}{2}\sum _{j=1}^M(a_j^{(L)}-y_j^{(i)}{)}^2=\frac{1}{2}\sum _{j=1}^M\left[\begin{array}{c}(a_1^{(L)}-y_1^{(i)}{)}^2\\ (a_2^{(L)}-y_2^{(i)}{)}^2\\ ⋮\\ (a_M^{(L)}-y_M^{(i)}{)}^2\end{array}\right]=\frac{1}{2}\mid \mid ({\mathbf{a}}^{(L)}-{\mathbf{y}}^{(i)}{)}^2\mid \mid$$

其中，$a_j^{(L)}$ 表示第 $L$ 层（输出层）的第 $j$ 个节点的输出值，$y_j^{(i)}$ 表示第 $i$ 个样本标签向量 ${\mathbf{y}}^{(i)}$ 中第 $j$ 个元素（对应第 $j$ 个输出节点的预测值），而损失 $J(\mathbf{W},\mathbf{b})$ 就是所有节点预测值和真实值差距的总和，$||\mathbf{x}||$ 表示列向量 $\mathbf{x}$ 的 1-范数，即 ${\sum }_i{x}_i$

对于第 $L$ 层是输出层，其所有输出节点组成的向量为：
$${\mathbf{a}}^{(L)}=\sigma ({\mathbf{z}}^{(L)})=\sigma ({\mathbf{W}}^{(L)}{\mathbf{a}}^{(L-1)}+{\mathbf{b}}^{(L)})$$

$$于是：J(\mathbf{W},\mathbf{b})=\frac{1}{2}\mid \mid ({\mathbf{a}}^{(L)}-{\mathbf{y}}^{(i)}{)}^2\mid \mid =\frac{1}{2}\mid \mid {\left(\sigma ({\mathbf{W}}^{(L)}{\mathbf{a}}^{(L-1)}+{\mathbf{b}}^{(L)})-{\mathbf{y}}^{(i)}\right)}^2\mid \mid$$

损失函数 $J(\mathbf{W},\mathbf{b})$ 对第 $L$ 层第 $j$ 个节点的权重 ${\mathbf{w}}_j^{(L)}$ 和偏差 $b_j^{(L)}$ 的梯度由下式给出：
$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(L)}}=\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial a_j^{(L)}}\frac{\partial a_j^{(L)}}{\partial z_j^{(L)}}\frac{\partial z_j^{(L)}}{\partial {\mathbf{w}}_j^{(L)}}$$

$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(L)}}=\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial a_j^{(L)}}\frac{\partial a_j^{(L)}}{\partial z_j^{(L)}}\frac{\partial z_j^{(L)}}{\partial b_j^{(L)}}$$

其中，由于 $J(\mathbf{W},\mathbf{b})=\frac{1}{2}{\sum }_{j=1}^{N_L}(a_j^{(L)}-y_j^{(i)}{)}^2$，只有第 $j$ 项含 ${\mathbf{w}}_j^{(L)}$，因此，$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(L)}}$ 只与第 $j$ 项有关，其他项对 ${\mathbf{w}}_j^{(L)}$ 求导均为 $0$，即：
$$\begin{array}{rl}\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(L)}}& =\frac{1}{2}\frac{\partial (a_j^{(L)}-y_j^{(i)}{)}^2}{\partial {\mathbf{w}}_j^{(L)}}=\frac{1}{2}\frac{\partial {\left[\sigma (z_j^{(L)})-y_j^{(i)}\right]}^2}{\partial {\mathbf{w}}_j^{(L)}}\\ & =\frac{1}{2}\frac{\partial }{\partial {\mathbf{w}}_j^{(L)}}{\left[\sigma ({\mathbf{w}}_j^{(L)}\cdot {\mathbf{a}}^{(L-1)}+b_j^{(L)})-y_j^{(i)}\right]}^2\end{array}\text{\hspace{1em}(Ⅰ)}$$

同理，只有第 $j$ 项含 $b_j^{(L)}$，因此，$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(L)}}$ 只与第 $j$ 项有关，其他项对 $b_j^{(L)}$ 求导均为 $0$，即：
$$\begin{array}{rl}\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(L)}}& =\frac{1}{2}\frac{\partial (a_j^{(L)}-y_j^{(i)}{)}^2}{\partial b_j^{(L)}}=\frac{1}{2}\frac{\partial {\left[\sigma (z_j^{(L)})-y_j^{(i)}\right]}^2}{\partial b_j^{(L)}}\\ & =\frac{1}{2}\frac{\partial }{\partial b_j^{(L)}}{\left[\sigma ({\mathbf{w}}_j^{(L)}\cdot {\mathbf{a}}^{(L-1)}+b_j^{(L)})-y_j^{(i)}\right]}^2\end{array}\text{\hspace{1em}(Ⅱ)}$$

因此，根据式 (Ⅰ) (Ⅱ)，损失函数 $J(\mathbf{W},\mathbf{b})$ 对第 $L$ 层第 $j$ 个节点的权重 ${\mathbf{w}}_j^{(L)}$ 和偏差 $b_j^{(L)}$ 的梯度可由下式给出：
$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(L)}}=\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial a_j^{(L)}}\frac{\partial a_j^{(L)}}{\partial z_j^{(L)}}\frac{\partial z_j^{(L)}}{\partial {\mathbf{w}}_j^{(L)}}=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})({\mathbf{a}}^{(L-1)}{)}^T$$

$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(L)}}=\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial a_j^{(L)}}\frac{\partial a_j^{(L)}}{\partial z_j^{(L)}}\frac{\partial z_j^{(L)}}{\partial b_j^{(L)}}=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})\cdot 1$$

其中，${\sigma }^{\prime }(z_j^{(L)})$ 表示直接将 $z_j^{(L)}$ 代入函数 ${\sigma }^{\prime }(x)$ 得到值即可

上述两式子有公共部分，将公共部分表示出来：
$${\delta }_j^L=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})=\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial a_j^{(L)}}\frac{\partial a_j^{(L)}}{\partial z_j^{(L)}}=\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial z_j^{(L)}}$$

📘 （结论1） 若将第 $L$ 层所有的节点的 ${\delta }_j^L$ 合成一个向量 ${\delta }^L$，则有：
$${\delta }^L=\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{z}}^{(L)}}={\left[\begin{array}{c}{\delta }_1^L\\ {\delta }_2^L\\ ⋮\\ {\delta }_M^L\end{array}\right]}_{(M\times 1)}={\left[\begin{array}{c}(a_1^{(L)}-y_1^{(i)}){\sigma }^{\prime }(z_1^{(L)})\\ (a_2^{(L)}-y_2^{(i)}){\sigma }^{\prime }(z_2^{(L)})\\ ⋮\\ (a_M^{(L)}-y_M^{(i)}){\sigma }^{\prime }(z_M^{(L)})\end{array}\right]}_{(M\times 1)}=\underset{(M\times 1)}{\underbrace{\left({\mathbf{a}}^{(L)}-{\mathbf{y}}^{(i)}\right)}}\ast \underset{(M\times 1)}{\underbrace{{\sigma }^{\prime }({\mathbf{z}}^{(L)})}}$$

${\sigma }^{\prime }({\mathbf{z}}^{(L)})$ 表示 ${\mathbf{z}}^{(L)}$ 中的每个元素分别代入函数 ${\sigma }^{\prime }(x)$ 中分别得到一个值，即 ${\mathbf{z}}_{(M\times 1)}^{(L)}⟹{\sigma }^{\prime }(x)⟹{\mathbf{a}}_{(M\times 1)}^{(L)}$；其中，$M$ 为第 $L$ 层的节点个数，$\ast$ 表示哈达玛积

因此，若损失函数 $J(\mathbf{W},\mathbf{b})$ 对第 $L$ 层第 $j$ 个节点的权重 ${\mathbf{w}}_j^{(L)}$ 和偏差 $b_j^{(L)}$ 的导数可以表示为：
$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(L)}}={\delta }_j^L({\mathbf{a}}^{(L-1)}{)}^T$$

$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(L)}}={\delta }_j^L$$

📘 （结论2） 将所有的 $J(\mathbf{W},\mathbf{b})$ 对第 $L$ 层第 $j$ 个节点的权重 ${\mathbf{w}}_j^{(L)}$ 和偏差 $b_j^{(L)}$ 的导数合并成为一个最终的矩阵或列向量：
$${\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{W}}^{(L)}}}_{(M\times N)}=\left[\begin{array}{c}\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_1^{(L)}}\\ \frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_2^{(L)}}\\ ⋮\\ \frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_M^{(L)}}\end{array}\right]={\left[\begin{array}{c}{\delta }_1^L({\mathbf{a}}^{(L-1)}{)}^T\\ {\delta }_2^L({\mathbf{a}}^{(L-1)}{)}^T\\ ⋮\\ {\delta }_M^L({\mathbf{a}}^{(L-1)}{)}^T\end{array}\right]}_{(M\times N)}=\underset{(M\times N)}{\underbrace{{\delta }^L({\mathbf{a}}^{(L-1)}{)}^T}}=\underset{(M\times 1)}{\underbrace{\left[\left({\mathbf{a}}^{(L)}-{\mathbf{y}}^{(i)}\right)\ast {\sigma }^{\prime }({\mathbf{z}}^{(L)})\right]}}\underset{(N\times 1{)}^T}{\underbrace{({\mathbf{a}}^{(L-1)}{)}^T}}$$

$${\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{b}}^{(L)}}}_{(M\times 1)}=\left[\begin{array}{c}\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_1^{(L)}}\\ \frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_2^{(L)}}\\ ⋮\\ \frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_M^{(L)}}\end{array}\right]={\left[\begin{array}{c}{\delta }_1^L\\ {\delta }_2^L\\ ⋮\\ {\delta }_M^L\end{array}\right]}_{(M\times 1)}={\left[\begin{array}{c}(a_1^{(L)}-y_1^{(i)}){\sigma }^{\prime }(z_1^{(L)})\\ (a_2^{(L)}-y_2^{(i)}){\sigma }^{\prime }(z_2^{(L)})\\ ⋮\\ (a_M^{(L)}-y_M^{(i)}){\sigma }^{\prime }(z_M^{(L)})\end{array}\right]}_{(M\times 1)}=\underset{(M\times 1)}{\underbrace{\left({\mathbf{a}}^{(L)}-{\mathbf{y}}^{(i)}\right)\ast {\sigma }^{\prime }({\mathbf{z}}^{(L)})}}$$

${\sigma }^{\prime }({\mathbf{z}}^{(L)})$ 表示 ${\mathbf{z}}^{(L)}$ 中的每个元素分别代入函数 ${\sigma }^{\prime }(x)$ 中分别得到一个值，即 ${\mathbf{z}}_{(M\times 1)}^{(L)}⟹{\sigma }^{\prime }(x)⟹{\mathbf{a}}_{(M\times 1)}^{(L)}$；其中，$M$ 为第 $l$ 层的节点个数，$N$ 为当前第 $l-1$ 层的节点个数

参考 📘 （结论2），我们可以得到损失函数 $J(\mathbf{W},\mathbf{b})$ 对第 $l$ 层的权重矩阵 ${\mathbf{W}}^{(l)}$ 和偏差 ${\mathbf{b}}^{(l)}$ 的梯度表示式：
$${\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{W}}^{(l)}}}_{(n\times k)}=\underset{(n\times 1)}{\underbrace{{\delta }^l}}\underset{(k\times 1{)}^T}{\underbrace{({\mathbf{a}}^{(l-1)}{)}^T}}\text{\hspace{1em}(推论1)}$$

$${\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{b}}^{(l)}}}_{(n\times 1)}=\underset{(n\times 1)}{\underbrace{{\delta }^l}}\text{\hspace{1em}(推论2)}$$

其中，上式中设第 $l-1$ 层、第 $l$ 层、第 $l+1$ 层的节点个数分别为：$k$、$n$、$m$，下面的式子一样

参考 📘 （结论1），利用递推法的思想，可以由 ${\delta }^{l+1}$ 推出 ${\delta }^l$：
$$\underset{(n\times 1)}{\underbrace{{\delta }^l}}=\underset{(n\times 1)}{\underbrace{\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{z}}^{(l)}}}}=\underset{(m\times n{)}^T}{\underbrace{{\left(\frac{\partial {\mathbf{z}}^{(l+1)}}{\partial {\mathbf{z}}^{(l)}}\right)}^T}}\underset{(m\times 1)}{\underbrace{\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{z}}^{(l+1)}}}}=\underset{(n\times 1)}{\underbrace{{\left(\frac{\partial {\mathbf{z}}^{(l+1)}}{\partial {\mathbf{z}}^{(l)}}\right)}^T{\delta }^{l+1}}}\text{\hspace{1em}(递推公式)}$$

我们需要求出上式的左项，根据：
$${\mathbf{z}}^{(l+1)}={\mathbf{W}}^{(l+1)}{\mathbf{a}}^{(l)}+{\mathbf{b}}^{(l+1)}={\mathbf{W}}^{(l+1)}\sigma ({\mathbf{z}}^{(l)})+{\mathbf{b}}^{(l+1)}⟹\frac{\partial {\mathbf{z}}^{(l+1)}}{\partial {\mathbf{z}}^{(l)}}={\mathbf{W}}^{(l+1)}\frac{\partial \sigma ({\mathbf{z}}^{(l)})}{\partial {\mathbf{z}}^{(l)}}$$

$${\mathbf{W}}^{(l+1)}\frac{\partial \sigma ({\mathbf{z}}^{(l)})}{\partial {\mathbf{z}}^{(l)}}={\mathbf{W}}^{(l+1)}\frac{\partial {\mathbf{z}}^{(l)}}{\partial {\mathbf{z}}^{(l)}}{\sigma }^{\prime }({\mathbf{z}}^{(l)})={\mathbf{W}}^{(l+1)}\mathbf{I}{\sigma }^{\prime }({\mathbf{z}}^{(l)})={\mathbf{W}}^{(l+1)}diag\left({\sigma }^{\prime }({\mathbf{z}}^{(l)})\right)$$

其中，$\mathbf{I}$ 表示单位矩阵（单位矩阵：除主对角线的元素非零外其他元素均为零）；

其中，$diag(\mathbf{x})$ 表示将向量 $\mathbf{x}\in R^n$ 转化成 $n\times n$ 的对角矩阵（对角矩阵：除主对角线的元素非零外其他元素均为零），主对角线上的元素按向量 $\mathbf{x}\in R^n$ 的顺序排列。因此，结合上面两式，可以得到：
$$\frac{\partial {\mathbf{z}}^{(l+1)}}{\partial {\mathbf{z}}^{(l)}}={\mathbf{W}}^{(l+1)}diag\left({\sigma }^{\prime }({\mathbf{z}}^{(l)})\right)$$

📘 （结论4） 根据 $(递推公式)$，可以得到最终的递推公式：
$$\underset{(n\times 1)}{\underbrace{{\delta }^l}}={\left(\frac{\partial {\mathbf{z}}^{(l+1)}}{\partial {\mathbf{z}}^{(l)}}\right)}^T{\delta }^{l+1}=\underset{(n\times n)}{\underbrace{diag\left({\sigma }^{\prime }({\mathbf{z}}^{(l)})\right)}}\underset{(m\times n{)}^T}{\underbrace{{\left({\mathbf{W}}^{(l+1)}\right)}^T}}\underset{(m\times 1)}{\underbrace{{\delta }^{l+1}}}$$

若使用展开的矩阵来表示，则有：
$$\underset{(n\times 1)}{\underbrace{{\delta }^l}}=\underset{(n\times n)}{\underbrace{\left[\begin{array}{cccc}{\sigma }^{\prime }(z_1^{(l)})& 0& \cdots & 0\\ 0& {\sigma }^{\prime }(z_2^{(l)})& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }^{\prime }(z_n^{(l)})\end{array}\right]}}\underset{(m\times n{)}^T}{\underbrace{{\left[\begin{array}{cccc}{w}_{11}^{(l+1)}& w_{12}^{(l+1)}& \cdots & w_{1n}^{(l+1)}\\ w_{21}^{(l+1)}& w_{22}^{(l+1)}& \cdots & w_{2n}^{(l+1)}\\ ⋮& ⋮& \ddots & ⋮\\ w_{m1}^{(l+1)}& w_{m2}^{(l+1)}& \cdots & w_{mn}^{(l+1)}\end{array}\right]}^T}}\underset{(m\times 1)}{\underbrace{\left[\begin{array}{c}{\delta }_1^{l+1}\\ {\delta }_2^{l+1}\\ ⋮\\ {\delta }_m^{l+1}\end{array}\right]}}$$

其中，上式中设第 $l-1$ 层、第 $l$ 层、第 $l+1$ 层的节点个数分别为：$k$、$n$、$m$

📘 （结论5） 如果将 ${\delta }^l$ 拆开，来分别计算第 $l$ 层的第 $j$ 个节点的 ${\delta }_j^{l+1}$，则有：
$${\delta }_j^l={\sigma }^{\prime }(z_j^{(l)})\sum _{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{l+1}$$

直接尝试展开计算即可得到该结论，这里不予推导

📘 （结论6） 最后，根据 $(推论1)$、$(推论2)$ 和 📘 （结论5），得到：
$${\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{W}}^{(l)}}}_{(n\times k)}=\underset{(n\times n)}{\underbrace{diag\left[{\sigma }^{\prime }({\mathbf{z}}^{(l)})\right]}}\underset{(m\times n{)}^T}{\underbrace{{\left({\mathbf{W}}^{(l+1)}\right)}^T}}\underset{(m\times 1)}{\underbrace{{\delta }^{l+1}}}\underset{(k\times 1{)}^T}{\underbrace{{\left({\mathbf{a}}^{(l-1)}\right)}^T}},\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(l)}}={\delta }_j^L({\mathbf{a}}^{(L-1)}{)}^T$$

$${\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{b}}^{(l)}}}_{(n\times 1)}=\underset{(n\times n)}{\underbrace{diag\left[{\sigma }^{\prime }({\mathbf{z}}^{(l)})\right]}}\underset{(m\times n{)}^T}{\underbrace{{\left({\mathbf{W}}^{(l+1)}\right)}^T}}\underset{(m\times 1)}{\underbrace{{\delta }^{l+1}}},\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(l)}}={\delta }_j^L$$

🔺 当然，损失函数除了均方误差损失函数之外，还有很多其他的损失函数，这里仅以均方误差损失函数为例，其他损失函数的反向传播推导需要读者自己推导

4.神经网络的优化算法——梯度下降(Gradient Descent-GD)

1️⃣首先初始化所有超参数，利用数据集进行前向传播，其中，$a_j^{(1)}$ 为输入，即 $a_j^{(1)}=x_j$，根据下式进行前向传播，其中 $N_l$ 表示第 $l$ 层的节点个数，分别求出所有层所有节点的 $a_j^{(l)}⟹{\mathbf{a}}^{(l)}$：
$$a_j^{(l)}=\sigma (z_j^{(l)})=\sigma (\sum _{i\in N_{l-1}}{w}_{ji}^{(l)}{a}_i^{(l-1)}+b_j^{(l)})或{\mathbf{a}}^{(l)}=\sigma ({\mathbf{z}}^{(l)})=\sigma ({\mathbf{W}}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)})$$

2️⃣根据下式先求出第 $L$ 层（输出层）的 ${\delta }_j^L⟹{\delta }^L$：
$${\delta }_j^L=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})或{\delta }^L=\left({\mathbf{a}}^{(L)}-{\mathbf{y}}^{(i)}\right)\ast \frac{\partial {\mathbf{z}}^{(L)}}{\partial z_j^{(L)}}$$

3️⃣再求出损失函数对第 $L$ 层（输出层）的梯度表示式，即：
$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(L)}}=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})({\mathbf{a}}^{(L-1)}{)}^T,\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(L)}}=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})\cdot 1\text{\hspace{1em}(或)}$$

$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{W}}^{(L)}}={\delta }^L({\mathbf{a}}^{(L-1)}{)}^T,\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{b}}^{(L)}}={\delta }^L$$

4️⃣根据 $(递推公式)$，继续求出第 $l$ 层，即除 $L$ 外其他所有层的 ${\delta }_j^l⟹{\delta }^l$：
$${\delta }_j^l={\sigma }^{\prime }(z_j^{(l)})\sum _{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{(l+1)}或{\delta }^l=diag\left[{\sigma }^{\prime }({\mathbf{z}}^{(l)})\right]{\left({\mathbf{W}}^{(l+1)}\right)}^T{\delta }^{l+1}$$

5️⃣求出损失函数对第 $l$ 层（隐藏层或输入层）的梯度表示式，即：
$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{w}}_j^{(l)}}={\delta }_j^L({\mathbf{a}}^{(L-1)}{)}^T,\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial b_j^{(l)}}={\delta }_j^L\text{\hspace{1em}(或)}$$

$$\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{W}}^{(l)}}={\delta }^l({\mathbf{a}}^{(l-1)}{)}^T,\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{b}}^{(l)}}={\delta }^l$$

6️⃣设学习率为 $\alpha$，根据梯度下降法，分别更新各层的权重 ${\mathbf{W}}^{(l)}$ 和 ${\mathbf{b}}^{(l)}$：
$${\mathbf{W}}^{(l)}⟸{\mathbf{W}}^{(l)}-\alpha \sum _{i=1}^{\mathtt{b}\mathtt{a}\mathtt{t}\mathtt{c}\mathtt{h}\_\mathtt{s}\mathtt{i}\mathtt{z}\mathtt{e}}\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{W}}^{(l)}}={\mathbf{W}}^{(l)}-\alpha \sum _{i=1}^{\mathtt{b}\mathtt{a}\mathtt{t}\mathtt{c}\mathtt{h}\_\mathtt{s}\mathtt{i}\mathtt{z}\mathtt{e}}{\delta }^{l,i}({\mathbf{a}}^{(l-1)}{)}^T$$

$${\mathbf{b}}^{(l)}⟸{\mathbf{b}}^{(l)}-\alpha \sum _{i=1}^{\mathtt{b}\mathtt{a}\mathtt{t}\mathtt{c}\mathtt{h}\_\mathtt{s}\mathtt{i}\mathtt{z}\mathtt{e}}\frac{\partial J(\mathbf{W},\mathbf{b})}{\partial {\mathbf{b}}^{(l)}}={\mathbf{b}}^{(l)}-\alpha \sum _{i=1}^{\mathtt{b}\mathtt{a}\mathtt{t}\mathtt{c}\mathtt{h}\_\mathtt{s}\mathtt{i}\mathtt{z}\mathtt{e}}{\delta }^{l,i}$$

其中，$\mathtt{b}\mathtt{a}\mathtt{t}\mathtt{c}\mathtt{h}\_\mathtt{s}\mathtt{i}\mathtt{z}\mathtt{e}$ 表示梯度下降时使用的训练样本个数

5.神经网络的激活函数

为什么需要激活函数？而且激活函数还是非线性的？

如果激活函数不是线性的，这里假设 $\sigma (x)=kx+c$，是一个线性函数，我们观察第 $l$ 层的输出值：
$$a_j^{(l)}=\sigma (z_j^{(l)})=\sigma (\sum _{i\in N_{l-1}}{w}_{ji}^{(l)}{a}_i^{(l-1)}+b_j^{(l)})=k\sum _{i\in N_{l-1}}{w}_{ji}^{(l)}{a}_i^{(l-1)}+b_j^{(l)}+c$$

我们发现当前第 $l$ 层与上一层 $l-1$ 层之间仍然是线性关系，如此类推的话，我们发现，神经网络的输出与输入仍然是线性关系，于是，神经网络便退化回单层感知机（线性回归模型），因为线性回归模型的输出与输入就是线性关系，因此需要非线性的激活函数

此外，如果激活函数是线性的，则整个神经网络得到的分界面永远是一个超平面（线性），那么它将永远无法对线性不可分的数据集完全正确地分开，但如果激活函数是非线性的，即为超平面增加非线性成分，使得该超平面可以成为一个超曲面，这样一来就有可能将线性不可分的数据集完全分开了

5.1 Sigmoid 函数

$Sigmoid$ 激活函数将输入投影到 $(0,1)$ 区间内，是一个软性的阶跃函数 $u(x)$，但是 $u(x)$ 不易求导，如下：
$$Sigmoid(x)=\frac{1}{1+e^{(-x)}}$$

$Sigmoid(x)$ 函数的导数如图：

特点：

1. 显然，$Sigmoid(x)$ 函数的导数在 $x⟶0$ 时值较大，$x$ 越远离 $0$，其值越小，在梯度反向传播时，每传递一层梯度值至少都会减小为原来的 $0.25$ 倍，如果神经网络的隐藏层很多，那么梯度在穿过多层后将变得非常小接近于0，即出现梯度消失现象
   因此，在使用 $Sigmoid(x)$ 应该注意输入激活函数 $\sigma (z_j^{(l)})$ 的 $z_j^{(l)}$ 的值是否分布在远离 $0$ 的两端，如果是，则很容易出现梯度消失的现象
2. $Sigmoid(x)$ 函数输出激活值的均值不是 $0$，这样会使权重更新效率降低
   因为这会导致后层神经元的输入是非 $0$ 均值的信号，这会对梯度产生影响：假设后层神经元的输入都为正，那么对 ${\mathbf{W}}^{(l)}$ 求局部梯度结果都为正，这样在反向传播的过程中 ${\mathbf{W}}^{(l)}$ 要么都往正方向更新，要么都往负方向更新，导致有一种捆绑的效果，使收敛速度缓慢
3. 包含幂运算，求解耗时，对于大型网络的训练时间会延长

5.2 Tanh 函数

$Tanh$ 激活函数将输入投影到 $(-1,1)$，形状上它和 $Sigmoid$ 函数是相像的：
$$Tanh(x)=\frac{1-e^{(-2x)}}{1+e^{(-2x)}}=\frac{e^x-e^{(-x)}}{e^x+e^{(-x)}}$$

$Tanh(x)$ 函数的导数如图：

特点：
$Tanh(x)$ 函数解决了输出激活值的均值不是 $0$ 的问题，但显然，梯度消失的问题尚未解决

5.3 ReLU 函数（常用）

$ReLU$ 激活函数将输入投影到 $(0,x)$：
$$ReLU(x)=max(0,x)$$

$ReLU(x)$ 函数的导数如图：

特点：

1. 使用 $ReLU$ 函数进行 $SGD$ 的收敛速度会比 $Sigmoid$ 和 $Tanh$ 函数快很多
2. $ReLU$ 函数只有线性关系，计算速度比 $Sigmoid$ 和 $Tanh$ 函数的幂运算快得多
3. $ReLU$ 函数可能会导致神经元 “坏死”：由于 $ReLU$ 在 $x<0$ 时梯度为 $0$，这样就导致值为负数的梯度在经过 $ReLU$ 时被置零，并且这个神经元有可能再也不会被任何数据激活，即神经元 “坏死”
   学习率不要设置成太大，设置为合适的值才能能好地避免这个问题

5.4 Swish 函数

文献地址：Searching for Activation Functions
$Swish$ 函数由 $Google$ 提出，融合了几个激活函数的优点：
$$Swish(x)=x\cdot Sigmoid(\beta x)，\beta \in R$$

$Swish(x)$ 函数的导数如图：

特点：
$Swish$ 函数可以看作是介于线性函数与 $ReLU$ 函数之间的平滑函数，其性能较好

如果需要进行多分类任务，则可能使用 $Softmax(x)$ 激活函数来进行 $Softmax$ 回归，我们在下一章会讲

6.常见激活函数的梯度和权重更新方法

1️⃣激活函数 $\sigma (x)=Sigmoid(x)$ 的导数：
$$\begin{array}{rl}\because {\sigma }^{\prime }(x)& =Sigmoi{d}^{\prime }(x)=\frac{e^{(-x)}}{(1+e^{(-x)}{)}^2}=\frac{1+e^{(-x)}-1}{(1+e^{(-x)}{)}^2}\\ & =\frac{1+e^{(-x)}-1}{1+e^{(-x)}}\cdot \frac{1}{1+e^{(-x)}}\\ & =\left(1-\frac{1}{1+e^{(-x)}}\right)\cdot \frac{1}{1+e^{(-x)}}\\ & =\sigma (x)(1-\sigma (x))\end{array}$$

$$\therefore {\sigma }^{\prime }(z_j^{(l)})=\sigma (z_j^{(l)})(1-\sigma (z_j^{(l)}))=a_j^{(l)}(1-a_j^{(l)})$$

进一步得到：
$${\delta }_j^L=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})=(a_j^{(L)}-y_j^{(i)})a_j^{(L)}(1-a_j^{(L)})$$

$${\delta }_j^l={\sigma }^{\prime }(z_j^{(l)})\sum _{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{(l+1)}=a_j^{(l)}(1-a_j^{(l)})\sum _{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{(l+1)}$$

2️⃣激活函数 $\sigma (x)=Tanh(x)$ 的导数：
$$\because {\sigma }^{\prime }(x)=Tan{h}^{\prime }(x)={\left[2Sigmoid(2x)-1\right]}^{\prime }=1-{\sigma }^2(x)$$

较为简单，这里不再详细推导
$$\therefore {\sigma }^{\prime }(z_j^{(l)})=1-{\sigma }^2(z_j^{(l)})=1-{\left(a_j^{(l)}\right)}^2$$

进一步得到：
$${\delta }_j^L=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})=(a_j^{(L)}-y_j^{(i)})\left[1-{\left(a_j^{(l)}\right)}^2\right]$$

$${\delta }_j^l={\sigma }^{\prime }(z_j^{(l)})\sum _{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{(l+1)}=\left[1-{\left(a_j^{(l)}\right)}^2\right]\sum _{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{(l+1)}$$

3️⃣激活函数 $\sigma (x)=ReLU(x)$ 的导数：
$$\because {\sigma }^{\prime }(x)=ReL{U}^{\prime }(x)=\{\begin{array}{ll}1& ,x>0\\ 0& ,x\le 0\end{array}$$

$$\therefore {\sigma }^{\prime }(z_j^{(l)})=\{\begin{array}{ll}1& ,z_j^{(l)}>0\\ 0& ,z_j^{(l)}\le 0\end{array}$$

进一步得到：
$${\delta }_j^L=(a_j^{(L)}-y_j^{(i)}){\sigma }^{\prime }(z_j^{(L)})=\{\begin{array}{ll}(a_j^{(L)}-y_j^{(i)})& ,z_j^{(l)}>0\\ 0& ,z_j^{(l)}\le 0\end{array}$$

$${\delta }_j^l={\sigma }^{\prime }(z_j^{(l)})\sum _{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{(l+1)}=\{\begin{array}{ll}{\sum }_{i=1}^m{w}_{ij}^{(l+1)}{\delta }_i^{(l+1)}& ,z_j^{(l)}>0\\ 0& ,z_j^{(l)}\le 0\end{array}$$

其他激活函数同理即可……

---

参考资料：
[1]Search 动手学深度学习课程
[2]统计学习方法，李航
[3]感知机的收敛性（Novikoff定理）证明
[4]多层感知机（MLP）
[5]Searching for Activation Functions