反向传播算法（BP算法）

前言

BP 算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多是在使用 BP 算法进行训练。BP 算法允许来自代价函数的信息通过网络向后流动，以便计算梯度。

反向传播的四个基本方程及推导

定义

在接下来的公式中：
$w_{jk}^l$ 表示从 $(l-1)^{th}$ 层的 $k^{th}$ 个神经元到 $l^{th}$ 层的 $j^{th}$ 个神经元的链接上的权重。
$a_j^l$ 表示 $l^{th}$ 层第 $j^{th}$ 个神经元的激活值。
$b_j^l$ 表示在 $l^{th}$ 层第 $j^{th}$ 个神经元的偏置。
$C$ 表示代价函数。
$L$ 表示输出层。
有了上面的表示，我们可以将两个相邻层之间的激活值通过方程关联起来：

$$z_j^l=\sum_kw_{jk}^la_k^{l-1}+b_j^l\\ a_j^l=\sigma(z_j^l)$$
其中 $\sigma()$ 为激励函数。
上面两个公式的向量化形式：
$$z^l=w^la^{l-1}+b^l\\a^l=\sigma(z^l)$$
关于代价函数的两个假设：
1. 代价函数可以被写成一个在每个训练样本 $x$ 上的代价函数 $C_x$ 的均值 $C=\frac{1}{n} \sum_xC_x$。
2. 代价可以写成神经网络输出的函数 $cost\ C=C(a^L)$。

最后，定义 $l$ 层的第 $j^{th}$ 个神经元上的误差 $\delta_j^l$ 为：

δlj≡∂C∂