BP算法（未完）

BP算法又叫反向传播算法。听起来好像很玄乎。但其实本质上很简单，它就相当于是一个复合函数链式求导法则。那么为什么它会这么有名气呢？

应用BP算法比传统上naive的思考方法会加速神经网络的计算上千万倍。为什么会出现这样的加速呢？如前述体现在求导数上面，因为现代神经网络的计算大多数都是应用求导数的方法，而且大规模的神经网络节点成千上万，这样的话在针对cost函数进行优化的过程中需要大量对输入参数的求导数运算。
naive的方法是从输入开始一步一步计算直到计算到对输出的影响。这样假设输入参数有100万个的话，就要对网络进行100万次的遍历求导。但是如果用BP算法的话只需要对网络做一次遍历求导。
其实BP算法的设计原理基本上就是动态规划。因为如果采用naive的这种方式的话，在子结构上存在重叠。

那么BP算法这么简单，为什么之前的人们没有想到呢？

因为在神经网络领域里面，或者人们心目中感觉计算机计算导数是一件非常困难的事情。但是事实上计算导数对计算机来说是非常简单的。而且人们当时也并没有认为用求导数的方法可以有很好的效果。

参考文献：http://colah.github.io/posts/2015-08-Backprop/