反向传播（BP）算法推导

推导==》

对于图中第k层第j个神经元：

假设误差为L，最后一层为第n层，梯度

同理，

绿线部分表示： 从 第k层第j个神经元到 最后一层 的 任一条线路上，对经过的神经元进行的运算（从第k+1层的神经元开始），如下图所示

相关细节

1.对于不同的损失函数有不同取值

例如，对于MSE（通常乘以1/2，用于求导后约去，方便计算）

2.对于图中第k+1层第m个神经元，有

可以由此得通式，计算链式求导

3.对于激活函数f，若f为sigmoid函数