1 例子
具体原理就不多赘述,直接上例子好理解一些
1.1 给定具体网络和参数
下面给定了一个简单的全连接神经网络及其参数w和b
1.2 正向传播(前向传播)
下面描述的前向传播,只取了一个线路,h1 -> o1其中h1为隐层,o1为输出层
下面neth1为h1网络前面两个神经元计算到当前h1的值,
下面outh1表示h1计算的值经过激活函数得到的值,同理得到h2,h3经过激活函数的值
下面同上面解释同理,不过神经元从h1变成了o1,得到的也是o1,o2神经元经过激活函数的值
然后计算得到的值与真实值的误差,即损失,下述E total就是计算两个输出的损失
1.3 反向传播
求total对w7求偏导,需要利用链式法则,计算每个偏导的乘积如上式
上述的total对out01求偏导,因为total等于E01 + E02,所以可以分解为E01 , E02分别对out01求偏导,因为E02中没有out01,所以为0,所以只用求E01与out01的偏导
out01 对 net01(就是参数方程)求偏导,就是对sigmoid求偏导,又因为对sigmoid求偏导等于上述式子,所以直接带入
net01对w7求偏导 就是参数方程对w7求偏导,三个偏导求出,得出损失对w7的偏导
求出来对w7的偏导也就是w7的梯度,则可以利用梯度下降公式对参数w7进行修正,其他参数同理
其中上述的E01对out01的偏导上述第一次反向传播可以看出,out01对net01的偏导上述也求出
对于net01对outh1的偏导,看下图就是net01跟out h1的关系式,所以net01对outh1的偏导就是w7
E02对outh1 同上面步骤
经过多次迭代来减少损失,从而逼近真实值
上述例子只是为了更好的理解反向传播,其实反向传播一般都是先计算出所有参数的梯度,然后利用梯度下降更新参数,一般先更新前面的w