[读书笔记]How the backpropagation algorithm works（未完待续）

前一段时间看了 Michael Nielsen写的文章，我觉得是目前看到讲神经网络后向传播算法讲的最好的一篇文章了。下面提其精要：

1. 符号
   $w^l_{jk}$: the weight for the connection from the $k^{th}$ neuron in the $(l-1)^{th}$ layer to the $j^{th}$ neuron in the $l^{th}$ layer

   $b^l_j$: the bias of the $j^{th}$ neuron in the $l^{th}$ layer

   $z^l_j$: the weighted input

   $a^l_j$: the activation of the $j^{th}$ neuron in the $l^{th}$ layer

   各符号的例子如下：
   
   

2. 公式

   $z$和$a$的计算公式如下：
   

   $$z^l_j = \sum_k w^l_{jk} a^{l-1}_k+b^l_j$$
   $$a^{l}_j = \sigma\left( \sum_k w^{l}_{jk} a^{l-1}_k + b^l_j \right)$$

   写成矩阵形式：
   

   $$z^l \equiv w^l a^{l-1}+b^l$$
   $$a^{l} = \sigma(w^l a^{l-1}+b^l)$$

   损失函数：
   

   $$C = \frac{1}{2n} \sum_x \|y(x)-a^L(x)\|^2$$

3. 后向传播算法intuition
   对于$j^{th}$ neuron in layer $l$， 如果我们让$z^l_j$变化$\Delta z^l_j$，那么该神经元的输出由$\sigma(z^l_j)$变成了$\sigma(z^l_j+\Delta z^l_j)$，并且损失函数值变化了$\frac{\partial C}{\partial z^l_j} \Delta z^l_j$。
   所以我们可以让$\Delta z^l_j$和$\frac{\partial C}{\partial z^l_j}$符号相反，达到让损失函数值下降。一直到$\frac{\partial C}{\partial z^l_j}$无限接近0，那么此时无论怎么变化$z^l_j$都难以让损失函数值下降了，此时我们宣布：该神经元达到最优状态了.
   基于这个观察，我们将neuron $j$ in layer $l$的误差$\delta^l_j$定义为：
   

   $$\delta^l_j \equiv \frac{\partial C}{\partial z^l_j}.$$

4. 后向传播算法的四大公式
   

   详细解释：
   BP1：
   

   $$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma'(z^L_j)$$
   $$\delta^L = \nabla_a C \odot \sigma'(z^L)$$
   $$\delta^L = (a^L-y) \odot \sigma'(z^L)$$
   BP2:
   $$\delta^l = ((w^{l+1})^T \delta^{l+1}) \odot \sigma'(z^l)$$
   BP3:
   $$\frac{\partial C}{\partial b^l_j} = \delta^l_j$$
   $$\frac{\partial C}{\partial b} = \delta$$
   BP4：
   $$\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j$$
   $$\frac{\partial C}{\partial w} = a_{\rm in} \delta_{\rm out}$$