BP神经网络

神经网络的一种求解W的算法，分为信号“正向传播(FP)”求损失，“反向传播(BP)”回传误差；根据 误差值修改每层的权重，继续迭代

1 例子

具体原理就不多赘述，直接上例子好理解一些

1.1 给定具体网络和参数

下面给定了一个简单的全连接神经网络及其参数w和b

1.2 正向传播（前向传播）

下面描述的前向传播，只取了一个线路，h1 -> o1其中h1为隐层，o1为输出层

下面neth1为h1网络前面两个神经元计算到当前h1的值，

下面outh1表示h1计算的值经过激活函数得到的值，同理得到h2,h3经过激活函数的值

下面同上面解释同理，不过神经元从h1变成了o1，得到的也是o1，o2神经元经过激活函数的值

然后计算得到的值与真实值的误差，即损失，下述E total就是计算两个输出的损失

1.3 反向传播

求total对w7求偏导，需要利用链式法则，计算每个偏导的乘积如上式

上述的total对out01求偏导，因为total等于E01 + E02，所以可以分解为E01 ， E02分别对out01求偏导，因为E02中没有out01，所以为0，所以只用求E01与out01的偏导

out01 对 net01（就是参数方程）求偏导，就是对sigmoid求偏导，又因为对sigmoid求偏导等于上述式子，所以直接带入

net01对w7求偏导 就是参数方程对w7求偏导，三个偏导求出，得出损失对w7的偏导

求出来对w7的偏导也就是w7的梯度，则可以利用梯度下降公式对参数w7进行修正，其他参数同理

其中上述的E01对out01的偏导上述第一次反向传播可以看出，out01对net01的偏导上述也求出

对于net01对outh1的偏导，看下图就是net01跟out h1的关系式，所以net01对outh1的偏导就是w7

E02对outh1 同上面步骤

经过多次迭代来减少损失，从而逼近真实值

上述例子只是为了更好的理解反向传播，其实反向传播一般都是先计算出所有参数的梯度，然后利用梯度下降更新参数，一般先更新前面的w