第二章 反向传播算法

一、反向传播算法BP

简介：解决神经网络参数求导问题，源自微积分中多元函数求导的链式法则，与梯度下降法配合，训练网络

二、正向传播回顾

1、激活函数作用：进行非线性映射，使模型可以拟合非线性

2、图 第l层每个神经元与第l-1层所有神经元的连接权重

三、目标函数

神经网络权重和偏置的训练目标——最小化训练样本的预测误差
如果对所有参数的梯度值已经计算出来，则可以用梯度下降法更新参数
现在的问题——目标函数是一个复合函数，每层都有权重矩阵和偏置向量。如何计算损失函数对它们的导数值

四、欧式距离损失函数的导数

五、链式法则

六、重要中间推导结论

1、对x求道

2、对w求导

3、

4、

5、

七、求导整体思路

先从最外层算起

八、计算权重和偏置的梯度

九、计算临时变量的梯度

输出层：
权重和偏置的梯度可以直接求出来：

十、完整的BP算法

从最后一层开始算起