神经网络反向传播Backpropagation（李弘毅机器学习）

神经网络反向传播Backpropagation

一、深度学习三部曲：

1. 定义一个函数model
2. 评估这个函数model
3. 选出最好的函数

二、定义神经网络
本次学习使用的是全连接前馈神经网络（Fully Connect Feedforward Network)

以上图为例，此处所采用的sigmoid函数是$1+1/e^{-z}$。也就是节点的activation是sigmoid函数。从上图可以看出我们输入1对应的权重为1和-1,下一层节点对应的bias(偏置值）为1，输入-1对应的权重为-2和1，下一层节点对应的偏置值为0。我们可以通过11+（-1）（-2）+1=4，然后对sigmoid(4)进行计算得到0.98.
依次类推，第二个节点也可以这样计算。因此我们将其写成如上的矩阵表示形式。

由此一来，我们可以将算出的激活值当作下一层的输入进行类似的计算。即可以得到y=f(x)=$\sigma$($w_{1}x+b_1$)。对于多层运算，我们将$\sigma (w_2(w_1+b_1)+b_2)$依次类推得到上图所示。
三、评估函数好坏
这里，我们定义交叉熵（Cross Entropy)来评估。
首先定义真实值（target）和训练值的交叉熵：
$l(y,\hat{y})$=-${\sum }_{i=1}^{10}$ $\widehat{y_i}$ln $y_i$
对于整个网络来说，total loss:L=${\sum }_{n=1}^N{l}^n$

在这里，我们通过最小化total loss来求得评估model。如何评估呢，我们就通过梯度下降（Gradient Descent)
四、选择最好的函数Model
通过梯度下降最小化total loss选择最好的函数。

这里，我们需要计算梯度： $\frac{\partial l}{\partial w}$。
也就是后向传播（Backpropagation)的问题。根据链式法则（chain rule),我们将求解 $\frac{\partial l}{\partial w}$的问题进行分解： $\frac{\partial l}{\partial w}$= $\frac{\partial l}{\partial z}$ $\frac{\partial z}{\partial w}$。显然，我们就可以分成两部分进行求解：首先是forward pass(前向传播），也就是对于 $\frac{\partial z}{\partial w}$的求解。对于$z=w_{1}x+b_1$来说，z是第一层sigmoid函数的输入。那么 $\frac{\partial z}{\partial w_1}=x_1$，也就是输入，那么我们很容易可以计算出$\frac{\partial z}{\partial w}$，也就是每个权重的那个输入端的值。

计算完$\frac{\partial z}{\partial w}$，我们开始计算$\frac{\partial l}{\partial z}$，也就是后向传播（backford pass)
相比之下，$\frac{\partial l}{\partial z}$的计算就要难很多。首先我们利用链式法则，进行分解：$\frac{\partial l}{\partial z}$=$\frac{\partial a}{\partial z}$$\frac{\partial l}{\partial a}$其中a=sigmoid(z)=$\sigma (z)$。同样，我们分别对每个部分进行求解。$\frac{\partial a}{\partial z}$=$\acute{\sigma (z)}$($\sigma (z)$d的一阶导数）。$\frac{\partial l}{\partial a}$则就比较复杂。我们再次利用链式法则，$\frac{\partial l}{\partial a}$=$\frac{\partial \acute{z}}{\partial a}$$\frac{\partial l}{\partial \acute{z}}$+$\frac{\partial \acute{\stackrel{ˊ}{z}}}{\partial a}$$\frac{\partial l}{\partial \acute{\stackrel{ˊ}{z}}}$。而$\frac{\partial \acute{z}}{\partial a}$其实就是w,因此$\acute{z}=w_{3}a+b_3$,$\frac{\partial \acute{\stackrel{ˊ}{z}}}{\partial a}$同理。因此$\frac{\partial l}{\partial z}$=$\acute{\sigma (z)}$（$w_3$$\frac{\partial l}{\partial \acute{z}}$+$w_4$$\frac{\partial l}{\partial \acute{\stackrel{ˊ}{z}}}$)。

为了理解这个过程，我们可以假设$\frac{\partial l}{\partial \acute{z}}$和$\frac{\partial l}{\partial \acute{\stackrel{ˊ}{z}}}$都是已知的，那么我们就可以得到$\frac{\partial l}{\partial z}$，根据Forward pass我们已经计算得出了$\frac{\partial z}{\partial w}$，两者相乘，我们就可以得到 $\frac{\partial l}{\partial w}$了。

但事实是$\frac{\partial l}{\partial \acute{z}}$和$\frac{\partial l}{\partial \acute{\stackrel{ˊ}{z}}}$都是并不是已知的。那如何求解呢。我们分两种情况：第一种情况是$\acute{z}$和$\acute{\stackrel{ˊ}{z}}$对应的是输出层，也就是说经过一个sigmoid函数就可以输出结果了。这个情况，我们可以再次进行链式法则：$\frac{\partial l}{\partial \acute{z}}$=$\frac{\partial l}{\partial y_1}$ $\frac{\partial y_1}{\partial \acute{z}}$。我们可以简单快速的计算出$\frac{\partial l}{\partial y_1}$，而$\frac{\partial y_1}{\partial \acute{z}}$就是一个$\acute{\sigma (\stackrel{ˊ}{z})}$。这样我们就可以计算出最终答案。

第二种情况就比较复杂，我们需要一步步展开。就是一层一层计算，和第一种情况一样，我们算出结果来之后：$\frac{\partial l}{\partial \acute{z}}$=$\acute{\sigma (\stackrel{ˊ}{z})}$（$w_5$$\frac{\partial l}{\partial z_a}$+$w_6$$\frac{\partial l}{\partial z_b})$。依次类推计算。

这样计算非常麻烦，于是我们想到可以采用第一种情况的方法进行计算。也就是如下倒推：

也就是从末尾计算出相应的值，然后累乘就可以。
五、总结
当我们使用Backpropagation计算出所有的 $\frac{\partial l}{\partial w}$就可以采用梯度下降的办法进行计算。利用梯度值更新参数w，直到收敛。