bp算法推导过程

BP过程主要是为了学习网络.首先我们要知道我们这个学习的过程要更新的每一层的w的权值.

整个的卷积神经网络其实可以理解成一个卷积+一个激活+........+一个卷积+一个激活. 每一个都相当于一次函数操作.

即  一个复合函数.

我们既然要求每一层的w的变化量,也就要求损失对每个一个w的偏导,用到了复合函数链式求导法则.

我们对一个三层的网络进行分析.

推导过程如下:

也就是我们在每层肯定要计算损失函数对w的偏导\theta J/ \theta w,并且还要计算损失函数对每一层输入的偏导\theta J/ \theta y,因为再计算前面一层的w的偏导的时候要用到.

经过推导对于输入的求导与该节点的敏感度有关系,所以在每个节点还要计算该节点的敏感度.

参考:模式分类