Learning representations by back-propagating errors原文解读

反向传播的原文是：
1986年的《Learning representations by back-propagating errors》

$$x_j=\sum _i{y}_i{w}_{ji}(1)$$
$$y_j=\frac{1}{1+e^{-x_i}}(2)$$
这个就是Sigmoid函数

$$E=\frac{1}{2}\sum _c\sum _j(y_{j,c}-d_{j,c}{)}^2(3)$$

$$\frac{\partial E}{\partial y_j}=y_j-d_j(4)$$
$$\frac{\partial E}{\partial x_j}=\frac{\partial E}{\partial y_j}{y}_j(1-y_j)(5)$$

$$\frac{\partial E}{\partial w_{ji}}=\frac{\partial E}{\partial x_j}\cdot \frac{\partial x_j}{\partial w_{ji}}=\frac{\partial E}{\partial x_j}{y}_i(6)$$

$$\frac{\partial E}{\partial y_i}=\sum _j\frac{\partial E}{\partial x_j}\cdot w_{ji}(7)$$

$$\Delta w=-\epsilon \frac{\partial E}{\partial w}(8)$$
$$\Delta w(t)=-\epsilon \frac{\partial E}{\partial w(t)}+\alpha \Delta w(t-1)(9)$$

原文没有提及b是怎么变化的,另外参考了下文献:
https://blog.csdn.net/qq_29762941/article/details/80343185
$$\Delta b=-\epsilon \frac{\partial E}{\partial b}$$

##########如何记忆######################

首先记住这个神经元：

然后就是下面的一大堆
$$\frac{\partial E}{\partial w_{ji}}=\frac{\partial E}{\partial y_j}\cdot \frac{\partial y_j}{\partial x_j}\cdot \frac{\partial x_j}{\partial w_{ji}}$$
上面三个因子怎么计算呢？
$\frac{\partial E}{\partial y_j}的计算:\frac{1}{2}(d_j-y_j{)}^2,d_j是实际的类别标签,y_j是预测结果$剩下就是求导操作。

$\frac{\partial y_j}{\partial x_j}的计算：就是对式(2)进行求导$

$\frac{\partial x_j}{\partial w_{ji}}的计算：这里的x_j不要误解成是整个神经元的输入端，而是激活函数的输入端，所以这个的结果就是y_i$

hidden unit 就是放激活函数的。
也就是后期论文中常见的隐藏层。

怎么个传播法呢？
最后就是$w_{ji}=-\epsilon △w+w_{ji}$