1.BP神经网络
BP(Backpropagation, BP)神经网络是一种多层前馈神经网络,该网络的主要特点是信号前向传递,误差反向传播。在前向传递中,输入信号从输入层经隐含层逐层处理,直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出,则转入反向传播,根据预测误差调整网络权值和阈值,从而使BP神经网络预测输出不断逼近期望输出。BP神经网络的拓扑结构如图所示。
这里的(1-1)中应该改成:
这里
的导数为
(可以用数学知识推导一下),所以
的导数为
这里的(1-3)中应该改成:
2.误差反向传播
这里的误差反向传播利用的是梯度下降法的原理(关于梯度下降法的详细原理可参照此博主)
此处只是简单的一次循环举例,E为均方差代价函数,a3’为真实值,通过梯度下降对权值和阈值进行调整。
以上就是权重和阈值的梯度下降方向,再乘以下降步长(即),便可得到新的权重和阈值,比如
同理可以得到如下:
这里面的1-8公式应该改成。
以上就是BP神经网络权重和阈值的调整原理
此篇主要是对大神们作品的进一步祥释,如有侵权,可联系删除。