一个例子简单明了:
其实就是链式法则,根据你想求导的两个值,来拆分,中间有权值、激活关系,层层递进,都是以误差为分子,要改变的权重为分母来求导。
反向传播很简单,链式求导,需要的导数其实都有求出来,
采用平方差作为loss,所以第一步就是loss对输出进行求导,第二步是输出对激活函数进行求导,第三步是送入激活函数前的值对w进行求导,就可以得到 loss对于w的求导。
里面涉及到的公式有:
所以,中间层与输出层之间的连接权重的调整如下:
调整值如下:
2. 输入层与中间层之间的连接权重的调整
综上,求得输入层和中间层的连接权重调整如下: