1 神经网络反向传播算法推导流程

下面这俩篇文章不错

Back-propagation, an introduction

1 why 反向传播算法?

• 1.神经网络损失函数是什么？
• 2.怎样通过损失函数来更新模型参数，即w,b？
• 3.重点是如何求损失函数对每一层w,b的导数，假如很多层，如何计算更有效？
• 4.更新的表达式是什么？

2 反向传播算法的优点？

通过下一层的参数更新值来求这一层的更新值，加快求导过程，即后向传播算法。

3 反向传播算法推导总流程

• 1.参数定义，以及明确我们的目标是利用反向传播原理来加快对参数求导的过程！！！
• 2.最后一层对w,b的导数是什么？
• 3.如何利用后面的层来更新前面的层？即后面层与前面层的关系！
• 4.权重更新公式！

下图对应上述几个步骤：

最后多层推导过程及更新公式可以参考这个：
反向传播算法（过程及公式推导）
多层神经网络BP算法 原理及推导