反向传播算法初识

过程

根据网络输出的答案与正确答案之间的误差，不断调整网络的参数。

• 根据误差，从最后一层逐层向前调整神经网络的参数。如果误差值为负，就提升权重，反之就降低权重。
• 其更新主要依据的数学原理是：链式求导
• 通过用损失函数对神经元上参数的链式求导，计算出总误差对神经元上参数的偏导，如果为正，则通过学习，降低该参数的值，如果为负则提升该值。目的是尽量使该偏导值接近于0。
• 每一次迭代都会更新参数，通过不停地迭代，最终会使得模型的误差下降。

参考链接：
https://blog.csdn.net/qq_29407397/article/details/90599460

一些基础

决定神经元是否好用

神经元之间连接的权重和阈值决定了神经元是否好用，训练的目的也是为了获得更为准确的权重和阈值。

学习率

在调增参数的过程中，调整的比率（大小）就称为学习率。

链式求导法则

参考链接：
https://blog.csdn.net/ws_6868/article/details/86656077

公式

总误差的公式：

链式求导举例，如图神经网络

隐含层---->输出层的权值更新：

隐含层---->隐含层的权值更新：