bp算法推导过程

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tjusxh/article/details/51378488

BP过程主要是为了学习网络.首先我们要知道我们这个学习的过程要更新的每一层的w的权值.

整个的卷积神经网络其实可以理解成一个卷积+一个激活+........+一个卷积+一个激活. 每一个都相当于一次函数操作.

  一个复合函数.



我们既然要求每一层的w的变化量,也就要求损失对每个一个w的偏导,用到了复合函数链式求导法则.

我们对一个三层的网络进行分析.



推导过程如下:


也就是我们在每层肯定要计算损失函数对w的偏导\theta J/ \theta w,并且还要计算损失函数对每一层输入的偏导\theta J/ \theta y,因为再计算前面一层的w的偏导的时候要用到.

经过推导对于输入的求导与该节点的敏感度有关系,所以在每个节点还要计算该节点的敏感度.


参考:模式分类 


展开阅读全文

没有更多推荐了,返回首页