反向传播算法原理

假设目标函数是平房误差和函数，激活函数是sigmoid，

 

1、目标函数：平方误差和

2、使用随机梯度下降法进行优化时要计算每一个权值通过全导公式计算这个偏导，要想到这个w是通过影响j的加权输入来影响网络中的其他部分的，所以可以转变成：

就转变成求下面这个偏导了，这个偏导的相反数就是所说的误差项。

3、对于输出层，net直接影响的是预测输出值：

对于隐藏层，net直接影响的是这个节点输出的下游节点：

 

总的来说，就是计算这一层的误差项需要根据上一层误差项来计算，所以是反向传播算法。

 

转载于:https://www.cnblogs.com/pacino12134/p/11110247.html