从数学上推导神经网络BP算法(向后传播)的矩阵形式————思考记录
最近被BP算法整得头大,今天终于想通,记录一下我的想法,主要是理解它为什么要这么算。
我们的代价函数是J=(这是最简单的,一般形式是求和)。由输入到输出的计算过程是:
BP算法主要使用的权值更新方法就是梯度下降算法,先求对权值的导数:
这是我的老师的ppt代码,使用的是matlab,主要难点就是理解W2',理解计算过程和推导公式的对应。
向后传播就是输出层计算出的误差,向后可以计算隐层误差,从而更新隐层权值。我们在对上面对导数的推导中,知道取负梯度的方向,函数下降最快,代价函数J值就会减少。
原创
2020-10-02 16:50:24 ·
1291 阅读 ·
0 评论