误差反向传播算法BP

一个例子简单明了：
其实就是链式法则，根据你想求导的两个值，来拆分，中间有权值、激活关系，层层递进，都是以误差为分子，要改变的权重为分母来求导。

反向传播很简单，链式求导，需要的导数其实都有求出来，


采用平方差作为loss，所以第一步就是loss对输出进行求导，第二步是输出对激活函数进行求导，第三步是送入激活函数前的值对w进行求导，就可以得到 loss对于w的求导。

里面涉及到的公式有：

所以，中间层与输出层之间的连接权重的调整如下：
调整值如下：

2. 输入层与中间层之间的连接权重的调整




综上，求得输入层和中间层的连接权重调整如下：