首先介绍BP的概念:
简单的描述就是,输入层将刺激传递给隐藏层,隐藏层通过神经元之间联系的强度(权重)和传递规则(激活函数)将刺激传到输出层,输出层整理隐藏层处理的后的刺激产生最终结果。若有正确的结果,那么将正确的结果和产生的结果进行比较,得到误差,再逆推对神经网中的链接权重进行反馈修正,从而来完成学习的过程。这就是BP神经网的反馈机制,也正是BP(Back Propagation)名字的来源:运用向后反馈的学习机制,来修正神经网中的权重,最终达到输出正确结果的目的
代码实现
bp神经网络及matlab实现
http://blog.csdn.net/gongxq0124/article/details/7681000
CNN因此可以想象成一个较为庞大的BP网络,其中的convolution layer + sigmoid 激活函数,激活了其中的有效神经元
为了减轻太多参数权重而造成的过拟合,CNN采用了权重共享和局部感受野的优化办法。
推荐reference:
http://blog.csdn.net/zouxy09/article/details/8781543/
http://blog.csdn.net/nan355655600/article/details/17690029