三层BP神经网络前馈公式推导

以上图三层神经网络为例。

1.网络参数命名：

输入为矩阵  ，输出矩阵为 。隐藏层对于输入层的权值为V，输出层对于隐藏层的权值为W。

2.前馈思想：

网络前馈的目的是修改隐藏层和输出层中的权值，即图中的V和W。对于一组已知的数据，可以根据输入X得出网络计算出的估计Y1。前馈进行的内容就是，根据Y和Y1之间的差别，来修改V和W，使得尽可能地对于任意一组数据X、Y，能够使得网络估计的Y1和实际Y差别很小。

3.梯度下降法：

最常用的算法：梯度下降法来更新参数。函数永远是沿着梯度的方向变化最快，那么我们对每一个需要调整的参数求偏导数，如果偏导数>0,则要按照偏导数相反的方向变化；如果偏导数<0，则按照此方向变化即可。于是我们使用-1*偏导数则可以得到参数需要变化的值。同时我们设定一个学习率η，η的作用是控制单次迭代修改参数值的大小，学习率通常是小于1的，防止修改过大出现overfitting。综上所述，如果我们要对一个参数p进行调参，只需要：

                                                                                 .......................................................................(1)

其中

4.网络前向传递计算公式:

①输入层→隐藏层ÿ