一文读懂反向传播算法（BP算法）的前世今生

神经网络可以看做是一个复合函数。
反向传播算法的目的：训练神经网络的权值系数，最终完成对权重系数的调整
核心：通过前向传播，得到神经网络模型的预测输出y，通过损失函数衡量模型预测输出y和真实样本label值t之间的差异，然后通过反向传播算法，计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降法更新每一个参数。
思想 通过链式法则求出所有参数对损失函数的梯度。
方法：从网络的输出层开始，向输入层方向逐层计算梯度并更新权重，与前馈运算相反。
结果：，数据的具体形式是代价函数对其超参数(权重(W)和偏置(b))的偏导数，反向传播的目的是使代价函数达到最小。
反向传播的由来：为了解决网络权值偏置的更新问题，该问题等价于神经网络输出f（x，w，b）的结果逼近标签值t ，进一步等价于损失函数 C（w，b）=（f（x，w，b）-t）^2取极小值问题，然后等价于C（w，b）按梯度下降问题 。即