翻译了:http://colah.github.io/posts/2015-08-Backprop/
总的来说,模型分为正向模型和反向模型。都是求导,但有一定差异
正向模型:是求每个节点对一个输入节点的导数。
反向模型:是求输出节点对每个节点的导数。(具体形式看下图)
如果想要根据输出结果,观察每个节点改变对它的影响,就用反向模型,计算量小,速度快。如果用了正向模型,计算量以指数形式增长。
但如果输出很多,输入少,就用正向模型。
对于神经网络输出的loss function函数,显然是求每个节点对它的影响 来改变权值,就用到了反向模型,也就是BP算法。