BP网络,是按照反向传播算法训练的前馈神经网络,有多层感知机,前向传播,反向传播减小损失,然后得到理想的结果。
其中神经网络的形式如图,中间的部分叫隐藏层
推导过程:
前向传播:neth1=w1*i1+w2*i2+b1,outh1=sigmiod(h1),这是第一步由输入层到隐藏层的计算,隐藏层到输入层neto1=outh1*w5+outh2*w6+b2,outo1=sigmiod(o1),得到输出层
反向传播:利用链式法则计算输出的结果对w的梯度,算出梯度更新w
求出梯度后,w5=w5-lr*梯度,更新w5 ,其余的同理
迭代多次后,误差就能减少很多,得到较为准确的结果