手推机器学习公式（一） —— BP 反向传播算法

方便起见，本文仅以三层的神经网络举例。

• $f(\cdot)$：表示激励函数
• $x_i$：表示输入层；
• $y_j$：表示中间的隐层；
  
  • $y_j=f(\text{net}_j)$
  • $\text{net}_j=\sum\limits_{i=0}^n v_{ij}x_i$
• $o_k$：表示输出层，$d_k$ 则表示期望输出；
  
  • $o_k=f(\text{net}_k)$
  • $\text{net}_k= \sum\limits_{j=0}^mw_{jk}y_j$
• $v_{ij}, w_{jk}$ 分别是连接输入层-隐层，隐层和输出层的权值矩阵；

BP 既然称为 error back propagation 算法，我们首先来看 error 的一种常见定义：

$$E=\frac12(\vec d-\vec o)^2=\frac12\sum_{k=1}^\ell\left(d_k-o_k\right)^2$$

三层神经网络下，将其展开至隐层：

$$\begin{split} E=&\frac12\sum_{k=1}^\ell\left(d_k-o_k\right)^2\\ =&\frac12\sum_{k=1}^\ell\left(d_k-f\left(\sum_{j=0}^mw_{jk}y_j\right)\right)^2 \end{split}$$

进一步展开至输入层：

$$\begin{split} E=&\frac12\sum_{k=1}^\ell\left(d_k-o_k\right)^2\\ =&\frac12\sum_{k=1}^\ell\left(d_k-f\left(\sum_{j=0}^mw_{jk}y_j\right)\right)^2\\ =&\frac12\sum_{k=1}^\ell\left(d_k-f\left(\sum_{j=0}^mw_{jk}f\left(\sum_{i=0}^nv_{ij}x_i\right)\right)\right)^2 \end{split}$$