多层感知机的反向传播算法

1 基本概念

前向传播

多层感知机中，输入信号通过各个网络层的隐节点产生输出的过程称为前向传播。

图形化表示

下图展示了一个典型的多层感知机

• 定义第 $(l)$ 层的输入为 $x^{(l)}$
• 在每一层中
  • 首先利用输入 $x^{(l)}$ 计算仿射变换 $z^{(l)}=W^{(l)}{x}^{(l)}+b^{(l)}$
  • 然后激活函数 $f$ 作用于 $z^{(l)}$，得到 $a^{(l)}=f(z^{(l)})$
  • $a^{(l)}$ 直接作为下一层的输入，即 $x^{(l+1)}$

设 $x^{(l)}$ 为 $m$ 维向量，$z^{(l)}$ 和 $a^{(l)}$ 为 $n$ 维向量，则 $W^{(l)}$ 为 $m\times n$ 维的矩阵，这里分别用 $z_i^{(l)}$ 、$a_i^{(l)}$ 和 $W_{ij}^{(l)}$ 表示其中的一个元素。

反向传播算法

在网络训练中，前向传播最终产生一个标量损失函数。
反向传播算法（ Back Propagation ） 则将损失函数的信息沿网络层向后传播用以计算梯度，达到优化网络参数的目的。反向传播算法是多层神经网络有监督训练中最简单也最一般的方法之一。

2 多层感知机的损失函数

给定包含 $m$ 个样本的集合 { ( x ( 1 ) , y ( 1 ) ) , ⋯   , ( x ( m ) , y ( m ) } \{(x^{(1)},y^{(1)}),\cdots,(x^{(m)},y^{(m)}\} { (x(1),y(1)),⋯,(x(m),y(m)}，假设多层感知机的层数（layer）为 $N$，在第 $l$ 层的神经节点数目为 $s_l$

2.1 平方误差损失函数

$$\begin{array}{rl}J(W,b)& =[\frac{1}{m}\sum _{i=1}^{m}J(W,b;x^{(i)},y^{(i)})]+\frac{\lambda }{2}\sum _{l=1}^{N-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_l+1}(W_{ij}^{(l)}{)}^2\\ & =[\frac{1}{m}\sum _{i=1}^m\frac{1}{2}\Vert y^{(i)}-f_{w,b}(x^{(i)}){\Vert }^2]+\frac{\lambda }{2}\sum _{l=1}^{N-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_{(l+1)}}(W_{ij}^{(l)}{)}^2\end{array}$$

• 第一项为平方误差项；
• 第二项为 L2 正则化项，在功能上可以称作权重衰减项，目的是减少权重的幅度，防止过拟合，其中 $W_{ij}^{(l)}$ 指的是第 $l$ 层神经网络上的第 $i$ 节点到第 $l+1$ 层神经网络上的第 $j$ 个节点的权重；
• 第二项前面的系数 $\lambda$ 为权重衰减参数，用于控制损失函数中两项的相对权重。

2.2 交叉熵损失函数

以二分类场景为例，交叉熵损失函数定义为：

J ( W , b ) = − [ 1 m ∑ i = 1 m J ( W , b ; x ( i ) , y ( i ) ) ] + λ 2 ∑ l = 1 N − 1 ∑ i = 1 s l ∑ j = 1 s l + 1 ( W i j ( l ) ) 2 = − [ 1 m ∑ i = 1 m { y ( i ) ln ⁡ o ( i ) + ( 1 − y ( i ) ) ln ⁡ ( 1 − o ( i ) ) } ] + λ 2 ∑ l = 1 N − 1 ∑ i = 1 s l ∑ j