如何理解反向传播算法（backpropagation）

两个假设

为了计算$\partial C/\partial w$需要对cost function的形式做两个假设，

1. cost function可以被写为$C = \frac{1}{n} \sum_x C_x$，这样做是因为backpropagation实际上是计算每个样本的偏导数，然后再把$C_x$合起来构成原来的$C$，$\partial C/\partial w=\frac{1}{n}\partial C_x/\partial w$，如果不能写成和的形式则使用backpropagation也没什么用。
2. C可以被写为$a^L$的函数，即$C=C(a^L)$，要注意在优化过程中输入的$x,y$都是固定的数，变量是$w$.

四个基本式子

backprop室为了计算$\partial C/\partial w$，为了计算它，要引入中间变量$\delta_j^l$，表示第$l$层的$j$个神经元对C的偏导数。

如果在第$l$层的$j$个神经元上加上一个$\Delta z^l_j$，那么这个神经元的输出就是$\sigma(z_j^l+ \Delta z^l_j)$，这个改变会传播到最后的$C$，近似值为$\frac{\partial C}{\partial z^l_j} \Delta z^l_j$。

定义：

$$\begin{eqnarray} \delta^l_j \equiv \frac{\partial C}{\partial z^l_j}. \end{eqnarray}$$

为了最终计算$\partial C/\partial w$，使用这个中间变量过渡。即先计算$C$对每个神经元的偏导数，然后把$\delta$和$\partial C/\partial w$联系起来。（这个思想就是利用链式求导把复杂的偏导数转化为两部分相对简单的来求解，这个过程中使用$\delta$表示$\partial C/\partial a$也可以，只不过这样的话数学上的形势会复杂一点。）

这个思想类似于求解$f(x)=e^{x^2}$的导数，写成神经网络的形式$x\rightarrow x'=x^2 \rightarrow x''=e^{x'}$我们可以引入$\delta=df/dx'$，然后我们可以使用链式求导得出$df/dx=df/dx' \cdot d x'/dx$，这样的计算更加方便、形式更加简洁。

这四个式子可以让我们计算error $\delta$和C的梯度：
一、输出层$\delta^L$的error的等式：
$\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma’(z^L_j). \tag{BP1}\end{eqnarray}$
(BP1)可由上面的假设和链式求导计算得出（利用不同输出神经元之间的独立性（所以有个元素间的乘法）），
向量形式：
$\begin{eqnarray} \delta^L = \nabla_a C \odot \sigma’(z^L). \tag{BP1a}\end{eqnarray}$

二、根据下一层的$\delta^{l+1}$计算上一层的$\delta^l$：
$\begin{eqnarray} \delta^l = ((w^{l+1})^T \delta^{l+1}) \odot \sigma’(z^l), \tag{BP2}\end{eqnarray}$
因为$z^{l+1}=W^{l+1}\cdot \sigma(z^l)+b^{l+1}$，所以$\delta^l=\partial C/\partial z^l=\partial C/\partial z^{l+1}\cdot \partial z^{l+1}/\partial z$

根据(BP1)和(BP2)可以计算所有层的$\delta$，即所有的C关于z的偏导数，接下来我们只需要找出$W^l, b^l$和z之间的关系，然后继续使用链式求导即可。

三、每层中的偏置对C的影响：
$\begin{eqnarray} \frac{\partial C}{\partial b^l_j} = \delta^l_j. \tag{BP3}\end{eqnarray}$

四、每层中的权重对C的影响：
$\begin{eqnarray}\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j. \tag{BP4}\end{eqnarray}$

当$a_{in}$很小的时候，偏导数$\partial C/\partial w$也会很小，学习就会很慢。

由(BP1)可知，要乘上$\sigma'(z)$，而当$z$很大或很小的时候导数会接近于零，学习会很慢（即使把1算成了0，向前传播的误差也会很小），此时这个神经元称为饱和了（saturated ）.

总结：当前面的神经元输出很小，或后面的神经元饱和了（z很大或很小）时会导致学习变慢。

函数向量的求导规则

1. $f(x) = Wx$，其中x为长度为n的列向量，W为m*n的矩阵，则有
   $\partial f/\partial x=W$

2. $f(x) =g(Wx)$，条件和1相同，且g为element-wise的函数，此时
   $\partial f/\partial x=\partial f(Wx)/\partial Wx\odot\partial Wx/\partial x=g'(Wx)\odot W$

上面四个式子的证明

backprop的整体其实就是为了计算$\partial C/\partial w$，但是直接计算太复杂，所以使用链式求导，而链式求导就需要选择好中间变量，这里选择的是$z$。
具体步骤：
先计算$\partial C/\partial z$，然后计算$\partial z/\partial w$，然后再找出$w, z,C$之间的关系，代入链式求导公式即可。
整个过程中稍复杂的地方就是，$\partial C/\partial z$向前传播的地方，可以看做$C=W\sigma(z)+const$，然后利用后面层的$\partial C/\partial z$链式求导及可。

为什么说backprop是一个快速的算法

神经网络刚发明出来的时候，没人算出偏导数的解析解，大家使用数值计算方法，这种方法的缺点就是计算量过大，每个weight之间都是独立的，而backprop计算则简单得多，