神经网络基础（三）—— 全连接神经网络与反向传播算法

1. 前言

网上关于神经网络的浅显介绍已经很多了，本文不再赘述，重点是神经网络的前后向传播过程的理论推导。

2. 模型基本情况说明

2.1 网络结构

在上图所示的网络结构中，每个节点都有一个编号，输入层共有三个特征分别为：$x_1,x_2,x_3$以及一个偏置项bias（图中未画出），隐藏层有四个神经元，第$j$个神经元与第$i$个特征连接的权重记为$w_{ji}$，隐藏层中每个神经元的输出分别记为$a_4,a_5,a_6,a_7$，同样的，输出层为2个节点，第$k$个节点与第$j$个隐藏层的权重记为$w_{kj}$。

2.2 激活函数

输入层与隐藏层，隐藏层与输出层的激活函数均采用
$$sigmoid(x)=\frac{1}{1+e^{-x}}f()\text{\hspace{1em}(2.1)}$$

• 函数图像
  
• 导数性质
  $$\begin{gathered} y=sigmoid(x) \\ {y}^{\prime }=y(1-y) \end{gathered}$$

2.3 损失函数

取网络所有输出层节点的误差平方和作为目标函数：
$$E=\frac{1}{2}\sum _{i\in outputs}(t_i-y_i{)}^2\text{\hspace{1em}(2.3)}$$
$t_i$是第$i$个节点的模拟值，$y_i$是第$i$个节点的真实值。

为什么优化公式(3.4)需要使用梯度下降算法？
神经网络的非线性导致大多数我们感兴趣的代价函数变的非凸，意味着神经网络的训练通常使用迭代的基于梯度的优化，并不能保证全局收敛。

---

3. 算法流程

3.1 前向传播

• 普通形式
  $$\begin{array}{rl}{a}_4& =sigmoid({\mathbf{w}}^T\cdot \mathbf{x})\\ & =sigmoid(w_{41}{x}_1+w_{42}{x}_2+w_{43}{x}_3+w_{4b})\\ a_5& =sigmoid(w_{51}{x}_1+w_{52}{x}_2+w_{53}{x}_3+w_{5b})\\ a_6& =sigmoid(w_{61}{x}_1+w_{62}{x}_2+w_{63}{x}_3+w_{6b})\\ a_7& =sigmoid(w_{71}{x}_1+w_{72}{x}_2+w_{73}{x}_3+w_{7b})\end{array}$$
  输出层节点计算结果分别为：
  $$\begin{array}{rl}{y}_1& =sigmoid(w_{84}{a}_4+w_{85}{a}_5+w_{86}{a}_6+w_{87}{a}_7+w_{8b})\\ y_2& =sigmoid(w_{94}{a}_4+w_{95}{a}_5+w_{96}{a}_6+w_{97}{a}_7+w_{9b})\end{array}$$

• 矩阵形式
  $$\begin{array}{rl}\mathbf{x}& =\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ 1\end{array}\right]\\ {\mathbf{w}}_4^T& =[w_{41},w_{42},w_{43},w_{4b}]\\ {\mathbf{w}}_5^T& =[w_{51},w_{52},w_{53},w_{5b}]\\ {\mathbf{w}}_6^T& =[w_{61},w_{62},w_{63},w_{6b}]\\ {\mathbf{w}}_7^T& =[w_{71},w_{72},w_{73},w_{7b}]\\ f& =sigmoid\end{array}$$
  则隐藏层的输出值可以表示为：
  $$\begin{array}{rl}{a}_4& =f({{\mathbf{w}}_4}^T\cdot \mathbf{x})\\ a_5& =f({{\mathbf{w}}_5}^T\cdot \mathbf{x})\\ a_6& =f({{\mathbf{w}}_6}^T\cdot \mathbf{x})\\ a_7& =f({{\mathbf{w}}_7}^T\cdot \mathbf{x})\end{array}$$
  则有：
  $$\mathbf{a}=\left[\begin{array}{c}{a}_4\\ a_5\\ a_6\\ a_7\end{array}\right],\mathbf{W}=\left[\begin{array}{c}{\mathbf{w}}_4^T\\ {\mathbf{w}}_5^T\\ {\mathbf{w}}_6^T\\ {\mathbf{w}}_7^T\end{array}\right]=\left[\begin{array}{c}{w}_{41},w_{42},w_{43},w_{4b}\\ w_{51},w_{52},w_{53},w_{5b}\\ w_{61},w_{62},w_{63},w_{6b}\\ w_{71},w_{72},w_{73},w_{7b}\end{array}\right],f(\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ .\\ .\\ .\end{array}\right])=\left[\begin{array}{c}f(x_1)\\ f(x_2)\\ f(x_3)\\ .\\ .\\ .\end{array}\right]$$
  $$\mathbf{a}=f(\mathbf{W}\cdot \mathbf{x})$$

3.2 反向传播

3.2.1 结论

• 对于输出层节点
  $${\delta }_i={\hat{y}}_i(1-{\hat{y}}_i)(y_i-{\hat{y}}_i)\text{\hspace{1em}(3.1)}$$
  其中，${\delta }_i$是节点的误差项，${\hat{y}}_i$是节点的输出值，$y_i$是样本对应于节点$i$的目标值(真实值)。举个例子，根据上图，对于输出层节点8来说，它的输出值是${\hat{y}}_1$，而样本的目标值是$y_1$，带入上面的公式得到节点8的误差项${\delta }_8$应该是：
  $${\delta }_8={\hat{y}}_1(1-{\hat{y}}_1)(y_1-{\hat{y}}_1)$$

• 对于隐藏层节点
  $${\delta }_i=a_i(1-a_i)\sum _{k\in outputs}{w}_{ki}{\delta }_k\text{\hspace{1em}(3.2)}$$
  其中，$a_i$是节点的输出值，$w_{ki}$是节点$i$到它的下一层节点$k$的连接的权重，$delt{a}_k$是节点$i$的下一层节点$k$的误差项。例如，对于隐藏层节点4来说，计算方法如下：
  $${\delta }_4=a_4(1-a_4)(w_{84}{\delta }_8+w_{94}{\delta }_9)$$

• 权重的更新
  $$w_{ji}\leftarrow w_{ji}+\eta {\delta }_j{x}_{ji}\text{\hspace{1em}(3.3)}$$
  其中，$w_{ji}$是节点$i$到节点$j$的权重，$\eta$是一个成为学习速率的常数，${\delta }_j$是节点$j$的误差项，$x_{ji}$是节点$i$传递给节点$j$的输入。例如，

  • 输出层：权重$w_{84}$的更新方法如下：
    $$\begin{gathered} w_{84}\leftarrow w_{84}+\eta {\delta }_8{a}_4 \\ {\delta }_8={\hat{y}}_1(1-{\hat{y}}_1)(y_1-{\hat{y}}_1) \end{gathered}$$
  • 隐藏层：权重$w_{41}$的更新方法如下：
    $$\begin{gathered} w_{41}\leftarrow w_{41}+\eta {\delta }_4{x}_1 \\ {\delta }_4=a_4(1-a_4)(w_{84}{\delta }_8+w_{94}{\delta }_9) \end{gathered}$$

3.2.2 推导过程

观察网络结构可知，权重$w_{ji}$净能够通过节点$j$的输入来影响整个网络的其他部分，假设$j$节点的加权输入记为$ne{t}_j$，则有：
$$\begin{array}{rl}ne{t}_j& ={\mathbf{w}}_{\mathbf{j}}\cdot \mathbf{x}\\ & =\sum _i{w}_{ji}{x}_{ji}\end{array}\text{\hspace{1em}(3.4)}$$
例如：
$$\begin{array}{rl}ne{t}_4=& w_{41}\ast x_{41}+w_{42}\ast x_{42}+w_{43}\ast x_{43}+w_{4b}\ast bias\\ =& \sum _{i=1}^4{w}_{4i}{x}_{ji}\end{array}$$
上式中，$x_{ji}$是节点$j$传递给节点$i$的输入值，也就是节点$i$的输出值，其实，$x_{ji}=x_i$。即有$x_{41}=x_{51}=x_{61}=x_{71}=x_1$。

损失函数$E$是$ne{t}_j$的函数，$ne{t}_j$是$w_{ji}$的函数，根据链式求导法则，有：
$$\begin{array}{rl}\frac{\partial E}{\partial w_{ji}}& =\frac{\partial E}{\partial ne{t}_j}\frac{\partial ne{t}_j}{\partial w_{ji}}\\ & =\frac{\partial E}{\partial ne{t}_j}\frac{\partial {\sum }_i{w}_{ji}{x}_{ji}}{\partial w_{ji}}\\ & =\frac{\partial E}{\partial ne{t}_j}{x}_{ji}\end{array}\text{\hspace{1em}(3.5)}$$

对于$\frac{\partial E}{\partial ne{t}_j}$的推导，需要区分输出层和隐藏层两种情况。

3.2.2.1 输出层

对于输出层来说，$ne{t}_j$仅能通过节点$j$的输出值${\hat{y}}_j$来影响网络其它部分，也就是说$E$是${\hat{y}}_j$的函数，而${\hat{y}}_j$是$ne{t}_j$的函数，其中。所以我们可以再次使用链式求导法则：
$$\begin{array}{rl}\frac{\partial E_d}{\partial ne{t}_j}& =\frac{\partial E}{\partial {\hat{y}}_j}\frac{\partial {\hat{y}}_j}{\partial ne{t}_j}\end{array}\text{\hspace{1em}(3.6)}$$
所以，有：
$$\begin{array}{rl}\frac{\partial E}{\partial {\hat{y}}_j}& =\frac{\partial }{\partial {\hat{y}}_j}\frac{1}{2}\sum _{i\in outputs}(y_i-{\hat{y}}_i{)}^2\\ & =\frac{\partial }{\partial {\hat{y}}_j}\frac{1}{2}(y_j-{\hat{y}}_j{)}^2\\ & =-(y_j-{\hat{y}}_j)\end{array}\text{\hspace{1em}(3.7)}$$
借助公式(2.3)有
$$\begin{array}{rl}\frac{\partial {\hat{y}}_j}{\partial ne{t}_j}& ={\hat{y}}_j(1-{\hat{y}}_j)\end{array}$$
所以：
$$\frac{\partial E}{\partial ne{t}_j}=-(y_j-{\hat{y}}_j){\hat{y}}_j(1-{\hat{y}}_j)\text{\hspace{1em}(3.8)}$$
因为方向是沿梯度的负方向，所以令${\delta }_j=-\frac{\partial E_d}{\partial ne{t}_j}$，所以第$j$个节点的误差项为：
$${\delta }_j=(y_j-{\hat{y}}_j){\hat{y}}_j(1-{\hat{y}}_j)\text{\hspace{1em}(3.9)}$$
结合公式(3.5)和公式(3.9)，则节点$i$与节点$j$之间的权重更新为：
$$\begin{array}{rl}{w}_{ji}& \leftarrow w_{ji}-\eta \frac{\partial E}{\partial w_{ji}}\\ & =w_{ji}+\eta (t_j-y_j)y_j(1-y_j)x_{ji}\\ & =w_{ji}+\eta {\delta }_j{x}_{ji}\end{array}\text{\hspace{1em}(3.10)}$$
$$w_{84}\leftarrow w_{84}+\eta {\delta }_8{a}_4$$

3.2.2.2 隐藏层

首先，我们需要定义节点的所有直接下游节点的集合$Downstream(j)$。例如，对于节点4来说，它的直接下游节点是节点8、节点9。可以看到$ne{t}_4$只能通过8,9影响再影响$E$。设$ne{t}_k$：$a_{84},a_{94}$是节点$j$：(4)的下游节点(8, 9)的输入，则$E$是的$ne{t}_k$函数，而$ne{t}_k$是$ne{t}_j$的函数。因为有多个$ne{t}_k$，我们应用全导数公式，可以做出如下推导：
$$\begin{array}{rl}\frac{\partial E}{\partial ne{t}_j}& =\sum _{k\in Downstream(j)}\frac{\partial E}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial ne{t}_j}\\ & =\sum _{k\in Downstream(j)}-{\delta }_k\frac{\partial ne{t}_k}{\partial ne{t}_j}\\ & =\sum _{k\in Downstream(j)}-{\delta }_k\frac{\partial ne{t}_k}{\partial a_j}\frac{\partial a_j}{\partial ne{t}_j}\\ & =\sum _{k\in Downstream(j)}-{\delta }_k{w}_{kj}\frac{\partial a_j}{\partial ne{t}_j}\\ & =\sum _{k\in Downstream(j)}-{\delta }_k{w}_{kj}{a}_j(1-a_j)\\ & =-a_j(1-a_j)\sum _{k\in Downstream(j)}{\delta }_k{w}_{kj}\end{array}$$
以权重$w_{41}$为例：
$$\begin{gathered} w_{41}\leftarrow w_{41}+\eta {\delta }_4{x}_1 \\ {\delta }_4=a_4(1-a_4)(w_{84}{\delta }_8+w_{94}{\delta }_9) \end{gathered}$$

---

4. 参考文献

• 西瓜书
• 零基础入门深度学习
• 深度学习
• 模式识别