神经网络笔记 - 反向传播(BackPropagation)

神经网络的数学描述:

$w_{jk}^l$表示$l-1$层的第$k$个神经元到$l$层的第$j$个神经元输入的权重.
$b_j^l$表示 $l$层的第$j$个神经元的偏移
$a_j^l$表示$l$层的第$j$个神经元的输出
所以:

$$a_j^l=\sigma(\sum_kw_{jk}^{l}a_k^{l-1} + b_j^l)$$
也可以用更简洁的描述:
$$a^l=\sigma(w^la^{l-1}+b^l)$$
令:
$$z^l = z_{j}^l=w^la^{l-1}+b^l$$
则 $z^l$可以视为第 $l$层神经元的带权重和偏移的输入.

代价函数(Cost Function)

代价函数的定义如下:

$$C = \frac{1}{2n}\sum_x||y(x)-a^L(x)||^2$$
这里: $n$是训练样本的个数, $y(x)$是期望的输出, $L$是神经网络的总层数, $a^L=a^L(x)$是神经网络当输入样本为 $x$时的输出.

Hadamard 积

Hadmard积的定义如下:

反向传播的基本概念

定义错误$\delta_j^l$:

$$\delta_j^l=\frac{\partial C}{\partial z_j^l}$$
则:
$$\delta_j^L=\sum_k\frac{\partial C}{\partial a_k^L}\frac{\partial a_k^L}{\partial z_j^L}$$
因为 $a_k^L$是第 $L$层的第$k$个神经元， 只有当 $j = k$时， 跟 $z_j^L$有关， 所以
$$\frac{\partial a_k^L}{\partial z_j^L} = 0, \text{if} \ \ \ k \neq j$$
于是:
$$\delta_j^L = \frac{\partial C}{\partial a_j^L}\frac{\partial a_j^L}{\partial z_j^L}$$
所以, 反向传播公式一(BP1)：
$$\delta_j^L = \frac{\partial C}{\partial a_j^L}\sigma^{'}(z_j^L)$$

继续来推导反向传播公式二 (BP2):

$$\delta_j^l=\frac{\partial C}{\partial z_j^l}$$
于是：
$$\delta_j^l=\sum_k\frac{\partial C}{\partial z_k^{l+1}}\frac{\partial z_k^{l+1}}{\partial z_j^l}$$
继续推导:
$$\delta_j^l=\sum_k\frac{\partial z_k^{l+1}}{\partial z_k^l}\delta_k^{l+1}$$
因为:
$$z_k^{l+1}=\sum_jw_j^{l+1}a_j^l+b_j^{l+1}=\sum_jw_j^{l+1}\sigma(z_k^l)+b_j^{l+1}$$
所以:
$$\frac{\partial z_k^{l+1}}{\partial z_k^l}=w_k^{l+1}\sigma^{'}(z_k^l)$$
因此:
$$\delta_j^l=\sum_kw_{kj}^{l+1}\delta_k^{l+1}\sigma^{'}(z_k^l)$$
这就是反向传播公式二BP2, 也可以简写为:
$$\delta^l=(w^{l+1})^T\delta_{j+1}\sigma^{'}(z^l)$$
于是， 如果我们已知 $\delta^l$, 可以计算 $\delta^{l-1}$.

神经网络的学习过程最终需要调整$w$和$b$, 所以我们需要计算
$\frac{\partial C}{\partial w_{jk}^l}$和$\frac{\partial C}{\partial b_j^l}$。 这就是反向传播公式三和四(BP3 and BP4)
待续

Reference

• http://neuralnetworksanddeeplearning.com/ 强烈推荐
• 机器学习 - 周志华 清华大学出版社
• https://en.wikipedia.org/wiki/Hadamard_product_(matrices)