以上图三层神经网络为例。
1.网络参数命名:
输入为矩阵 ,输出矩阵为 。隐藏层对于输入层的权值为V,输出层对于隐藏层的权值为W。
2.前馈思想:
网络前馈的目的是修改隐藏层和输出层中的权值,即图中的V和W。对于一组已知的数据,可以根据输入X得出网络计算出的估计Y1。前馈进行的内容就是,根据Y和Y1之间的差别,来修改V和W,使得尽可能地对于任意一组数据X、Y,能够使得网络估计的Y1和实际Y差别很小。
3.梯度下降法:
最常用的算法:梯度下降法来更新参数。函数永远是沿着梯度的方向变化最快,那么我们对每一个需要调整的参数求偏导数,如果偏导数>0,则要按照偏导数相反的方向变化;如果偏导数<0,则按照此方向变化即可。于是我们使用-1*偏导数则可以得到参数需要变化的值。同时我们设定一个学习率η,η的作用是控制单次迭代修改参数值的大小,学习率通常是小于1的,防止修改过大出现overfitting。综上所述,如果我们要对一个参数p进行调参,只需要:
.......................................................................(1)
其中