反向传播算法的理解

    BP(Backpropagation Algorithm，反向传播算法)在神经网络学习中有着无可替代的作用，关于其优化方法可阅读该文章《一文看懂各种神经网络优化算法：从梯度下降到Adam方法》。本文仅立足于反向传播的实现过程。文中如有理解偏差，请各位指正。

    就反向传播的字面理解是将数据从后(输出)向前(输入)传递，数据的具体形式是代价函数对其超参数(权重(W)和偏置(b))的偏导数，反向传播的目的是使代价函数达到最小。所以该算法的根本是代价函数对权重和偏置的偏导数的计算方法。所以“反向传导算法”的翻译还是很贴切的。

    首先，看下常见代价函数的形式，公式来自这里。

                                              （二次代价函数）

                       （交叉熵代价函数࿰