反向传播算法

  在神经网络中，为了最小化损失函数$loss(w)$，我们会逐一对各个$w_i$进行求偏导，然后沿着梯度方向更新各个$w_i$的值。但是直接求导的话这整个过程会产生重复计算。
  例如$z = f(g(x)) = f(y)$，则$\frac{dz}{dx} = \frac{dz}{dy}\frac{dy}{dx}$，假设$x$是第$i$层权值，$y$是第$i+1$层的权值，如果依次求$z$对于$x,y$的导数需要计算两次$\frac{dz}{dy}$和一次$\frac{dy}{dx}$。而这时我们可以利用动态规划的思想先计算$\frac{dz}{dy}$并保存下来记为$t$，这时候再计算$\frac{dz}{dx} = t\frac{dy}{dx}$，这样就不会出现导数的重复计算。
  以上就是Backpropagation算法的思想。
  这里举一个具体例子（假设我们现在处于反向传播过程中，现在要更新$w_1$）：

  这里要求 $\frac{\partial E_{total}}{\partial w_1}$，即最后神经网络输出的损失函数值对当前 $w_1$的偏导数，下面对它展开：
$\frac{\partial E_{total}}{\partial w_1}=\frac{\partial E_{total}}{\partial ({h^{i+1}_v}_{out})}\cdot\frac{\partial ({h^{i+1}_v}_{out})}{\partial ({h^{i+1}_v}_{net})}\cdot\frac{\partial ({h^{i+1}_v}_{net})}{\partial w_1}$
这里，上面的 $w_1$即为图中的 $w_1$， ${h^{i+1}_v}_{net}$表示 $h^{i+1}_v$结点中线性加权后的结果， ${h^{i+1}_v}_{out}$表示 $h^{i+1}_v$结点的最终输出， ${h^{i+1}_v}_{net}$在经过激励函数后变成 ${h^{i+1}_v}_{out}$。通常而言，展开后的第一项 $\frac{\partial E_{total}}{\partial h_{out}}$就是 $error$项（误差项），而前两项的乘积 $\frac{\partial E_{total}}{\partial h_{net}}$就可以记为 $\delta$。下同。下面开始推导。
   第一项：
$\frac{\partial E_{total}}{\partial ({h^{i+1}_v}_{out})}=\frac{\partial (E^{i+2}_t+ E^{i+2}_{t+1})}{\partial ({h^{i+1}_v}_{out})}=\delta^{i+2}_tw_4+\delta^{i+2}_{t+1}w_5=\sum\delta^{i+2}_tw_{v-t}$
（由于 $\frac{\partial E^{i+2}_t}{\partial ({h^{i+1}_v}_{out})}=\frac{\partial E_{total}}{\partial ({h^{i+2}_t}_{net})}\cdot \frac{\partial ({h^{i+2}_t}_{net})}{\partial ({h^{i+1}_v}_{out})}=\delta^{i+2}_tw_4$）
这里， $E^{i+2}_t$表示 $h^{i+1}_v$结点来自 $h^{i+2}_t$的损失值， $E^{i+2}_{t+1}$表示它来自 $h^{i+2}_{t+1}$的损失值。注意， $\frac{\partial E_{total}}{\partial ({h^{i+2}_t}_{net})}$在误差反向传播到 $i+1$层的时候，就已经被计算出来并且保存为 $\delta^{i+2}_t$了。
   第二项：
$\frac{\partial ({h^{i+1}_v}_{out})}{\partial ({h^{i+1}_v}_{net})}=f'(h^{i+1}_v)$
这里，对于一个结点而言，它的净输入（线性加权总和）经过激励函数 $f$后即可以得到它的输出，于是这个导函数即为激励函数的导数。综合上述的第一项和第二项，我们可以看到相邻两层的$\delta$值有如下关系式： $\delta^{i+1}_v=(\sum\delta^{i+2}_tw_{v-t})\cdot f'(h^{i+1}_v)$，这里的 $(\sum\delta^{i+2}_tw_{v-t})$也就是我们所谓的 $error^{i+2}_t$。神经网络输出层的 $error$值就是真实值和预测值的误差。
   第三项：
$\frac{\partial ({h^{i+1}_v}_{net})}{\partial w_1}=\frac{\partial ({h^{i}_u}_{out}\cdot w_1+{h^{i}_{u+1}}_{out}\cdot w_1+b^i)}{\partial w_1}={h^{i}_u}_{out}$
这里，一个结点的线性加权总和对于它某个参数 $w$的导数值为上层某一个结点的输出，而这个输出在前向传播过程就被计算出来了。
  综上所述：
$\frac{\partial E_{total}}{\partial w_1}=(\sum\delta^{i+2}_tw_{v-t})\cdot f'(h^{i+1}_v)\cdot{h^{i}_u}_{out}=\delta^{i+1}_v\cdot {h^{i}_u}_{out}$
小结一下， $\frac{\partial E_{total}}{\partial w_1}$，也就等于 $i+2$层结点的 $error^{i+2}_t$，乘以，当前 $i+1$层激励函数的导数，乘以，它前面第 $i$层对应结点的输出${h^{i}_u}_{out}$的总乘积。
  至此， $w_1$的梯度方向的导数就算出来了，我们再加上学习速率后，就可以更新 $w_1$：
$w'_1=w_1+\eta\frac{\partial E_{total}}{\partial w_1}$
  最后，我们就可以根据这个将最基本的BP神经网络推导一翻啦~