反向传播推导

反向传播推导

反向传播算法是用来训练神经网络最常用且有效的算法。其主要思想是：

（1） 将训练集数据输入到网络的输入端， 经过隐藏层， 最后达到输出层并输出结果， 这是网络的前向传播过程。

（2） 由于网络的输出结果与实际标签有误差(用损失函数来衡量), 则计算预测值与实际值之间的误差， 并将该误差从输出层向隐藏层反向传播， 直至传播到输入层

（3） 在反向传播的过程中， 根据误差调整各个参数的值，不断迭代上述过程， 直至收敛

上述是一个3层的人工神经网络， layer1到layer3分别是输入层、隐藏层和输出层。如图， 先定义一些变量：

$w_{jk}^l$表示第l-1层的第k个神经元连接到第 l层的第j个神经元的权重；

$b_j^l$表示第l层的第j个神经元的偏置

$a_j^l$表示第l层的第j个神经元的输出，$\sigma$表示激活函数， 即：

$$a_j^l=\sigma (\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l)$$

$z_j^l$表示第l层的第j个神经元的输入， 即

$$z_j^l=\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l$$

$a_j^l=\sigma (z_j^l)$

损失函数

用来衡量网络输出与真实标签之间的误差， 我们用常见的均方误差来计算
$$C=\frac{1}{2}\sum _x||y(x)-a^L(x)|{|}^2$$
x表示输入数据， y表示真实标签， $a^L$表示预测的输出， L表示网络最大的层数， 也就是第L层

公式推导

首先， 将第l层第j个神经元中产生的误差定义为：
$${\delta }_j^l=\frac{\partial C}{\partial z_j^l}$$
公式1 (计算最后一层神经网络产生的误差)：

推导：
$${\delta }_j^L=\frac{\partial C}{\partial z_j^L}=\frac{\partial C}{\partial a_j^L}\cdot \frac{\partial a_j^L}{\partial z_j^L}$$
所以， 最后一层神经网络产生的误差为：
$${\delta }^L=\frac{\partial C}{\partial a^L}\frac{\partial a^L}{\partial z^L}={\nabla }_{a}C\odot {\sigma }^{{}^{\prime }}(z^L)$$
公式2 (由后往前， 计算每一层神经网络产生的误差)：

推导:
$$\begin{gathered} {\delta }_j^l=\frac{\partial C}{\partial z_j^l}=\sum _k\frac{\partial C}{\partial z_k^{l+1}}\cdot \frac{\partial z_k^{l+1}}{\partial a_j^l}\cdot \frac{\partial a_j^l}{\partial z_j^l} \\ =\sum _k{\delta }_k^{l+1}\cdot \frac{\partial (w_{kj}^{l+1}{a}_j^l+b_k^{l+1})}{\partial a_j^l}\cdot {\sigma }^{{}^{\prime }}(z_j^l) \\ =\sum _k{\delta }_k^{l+1}\cdot w_{kj}^{l+1}\cdot {\sigma }^{{}^{\prime }}(z_j^l) \end{gathered}$$
因此， 除最后一次其他产生的误差为：
$${\delta }^l=((w^{l+1}{)}^T{\sigma }^{l+1})\odot {\sigma }^{{}^{\prime }}(z^l)$$

---

反向传播算法伪代码：

• 输入训练集

• 对于训练集中的每个样本x, 设置输入层(Input layer)对应的激活值$a^1$:

• 前向传播
  $$z^l=w^l{a}^{l-1}+b^l,a^l=\sigma (z^l)$$

• 计算输出层产生的误差：
  $${\delta }^L=\frac{\partial C}{\partial a^L}\frac{\partial a^L}{\partial z^L}={\nabla }_{a}C\odot {\sigma }^{{}^{\prime }}(z^L)$$

• 反向传播误差：
  $${\delta }^l=((w^{l+1}{)}^T{\sigma }^{l+1})\odot {\sigma }^{{}^{\prime }}(z^l)$$

• 使用梯度下降， 训练参数
  $$w^l⟶w^l-\frac{\eta }{m}\sum _x{\delta }^{x,l}(a^{x,l-1}{)}^T$$

  $$b^l=b^l-\frac{\eta }{m}\sum _x{\delta }^{x,l}$$