反向传播算法

       现在假设对一个神经元节点j做反向传播，然后类推到所有神经元节点 ，如果一个神经元节点的反向传播算法弄清楚了，那么整个网络的反向传播更新权值和偏置也应该懂了。下面分两种情况来讨论，第一种研究的神经元节点是位于输出层，另一种情况就是研究的神经元节点位于隐藏层。相对于第一种情况，第二种情况比较复杂些。

反向阶段：通过比较网络的输出和期望产生一个误差信号。得到误差信号再次通过网络的一层一层传播，反向进行，对网络的突触权值不断修正。对与输出层的修正比较简单，但是对于隐藏层比较具有挑战性。

第一种情况：输出节点j就是输出层

网络中的各个符号说明

 这种情况比较简单，下面是参数更新过程

第二中情况：神经元j位于隐藏层

当神经元j位于网络的隐藏层时，就没有对该输入神经元的指定期望响应。因此，隐藏层的误差信号要根据所有与隐藏层神经元直接相连的神经元的误差信号来向后递归决定。这就是为什么反向传播算法提出变得很困难的原因。

 网络中的各个符号说明及参数更新过程

还希望多多指正！