BP算法公式推导

反向传播算法是深度学习的基础之一，其主要的核心就是对代价函数$E$关于权重$w$（或偏置$b$）的偏导数${\partial E}$/${\partial w}$的表达式。这个表达式代表在改变权值和偏置时，代价函数变化的快慢。

使用$w_{jk}^l$表示从$(l-1)^{th}$层的$k^{th}$神经元到$l^{th}$层的$j^{th}$神经元上的权重。之所以$l$的序号在$(l-1)$层的序号之前，是因为后期进行矩阵运算的时候会比较方便。

有了这些，$l^{th}$层的$j^{th}$神经元的激活值$a_j^l$就和$(l-1)^{th}$关联起来了：

$a_j^l = \sigma (\sum\limits_{k} w_{jk}^la_k^{l-1}+b_j^l)$

基础的BP算法中$\sigma(x)$为sigmoid函数，即$\sigma(x)=\frac{1}{1+e^{-x}}$

BP算法的二次代价函数是LMS(最小均方差)，其定义为：

$E = \frac{1}{2}\sum\limits_{j}(y_j-a_j^L)^2$

设$z_k^l=\sum\limits_{k} w_{jk}^la_k^{l-1}+b_j^l$，则 alj=σ(