本篇是转载以下链接的网址,对CNN有很直观的介绍
http://www.36dsj.com/archives/42065
1,BP算法
2,激励函数
3,正则化与交叉验证等其他防止过拟合的方法
BP神经网络在之前的工作中取到了不错的效果,但是在Micheal Nilson的数的第五章,描述了之前的神经网络在增加多个隐含层之后训练效果会大大下降,也就是说,对于层数过多的网络训练效果不理想,如何训练深层的神经网络成了一个问题,这就是深度学习的由来
深度学习近些年来很火,尤其是在自然语言处理领域,其取得的成就也是巨大的。之前我对深度学习是有畏惧心理的,因为我觉得挺难的,后来慢慢接触,发现这个也是一个循序渐进的过程,还是要有信心。
深度学习一个最广泛的应用就是卷积神经网络(deep convolutional neural networks),也就是CNN。这篇文章就简要说一下CNN模型的基本模型。
回到正题:Introducing convolutional networks
还是以之前的手写数字识别为基本,阐述CNN。
好的,回到CNN主题。
首先从之前的BP神经网络慢慢过渡到CNN,回顾之前的手写识别问题,我们识别一副28*28的手写图片,我们将图片转换成像素,然后手写黑色点得像素点标注为1,其他空白的像素标注为0,因此形成了28*28个BP神经网络输入层,然后我们设计了一个30个神经元的中间层,以及最后的10个神经元的输入层,其典型结构如下:
![28*28神经网络输入层](http://www.36dsj.com/wp-content/uploads/2016/02/163.png)
因此需要一些新的模型,CNN就是这样的新的模型。
卷积神经网络的基本思想有以下三点:
1. local receptive fields
2. shared weights
3. pooling
英文的名称总是感觉不太好翻译成中文,索性就不翻译了,之后会介绍这些到底是什么东西。
首先我们看一下什么是 local receptive fields
在之前介绍的神经网络中,每个层的神经元总是与前面一层的所有神经元相连,也就是全相连,回想之前的BP神经网络,在隐藏层的神经元每个都和输入层的28*28个直接相连,也就是说每个盛景园需要训练 28*28+1个参数,但是在CNN中,隐藏层的神经元并不一定会和之前的所有神经元相连,以手写数字识别为例,每个隐藏层的神经元都会和输入层的部分神经元相连,如下图:
![input neuron](http://www.36dsj.com/wp-content/uploads/2016/02/164.png)
如上图所示的移动方法,我们可以很顺利的推出,隐藏层的结果是24*24个神经元(按照窗口移动法则)
明白了这点,我们就可以来了解shared weights and biases概念了
shared weights and biases:
前面说到过,在隐藏层的每个神经元都是有5*5+1个参数,也就是25个权重w和一个偏移量b,但是之前没有提到的是,在这个隐藏层中,所有的神经元的参数的值都是一样的,也就是说,对于隐藏层的所有神经元,其输出都是满足下面的条件:
只不过,每个神经元对应的映射区域不一样,也就是说上式的a值不同而已。注意上面式子的大括号左边表示的是激励函数,比如我们前面用到过的sigmoid函数。
为什么这样设计是有意义的,可以用一个简单的比喻说明:一个猫的图片的其中一个部分和其他的部分都是猫的一部分,也就是说都是猫的特征,因此这两个部分的特征值(w,b)设置成一样的。
也是这样,有时候,我们将从输入层到隐藏层的映射称之为 feature map(特征映射)。shared weights 和bias经常被说成是 内核(kernel)或者过滤器(filter)。
实际应用中,我们可能会不只一个feature map,可能会有多个,如下图所示:
![映射](http://www.36dsj.com/wp-content/uploads/2016/02/165.png)
采用相同的w和b的好处是大大减少了训练的参数的个数,对于28*28的图像识别问题,我们假设隐藏层有20个map,那么会有(5*5+1)*20个参数,对比之前的20个神经元隐藏层的30*(28*28+1)个参数,可以看出来参数是大大减小了。
最后来看 pooling layer
pooling layer一般在卷基层后面(卷基层对应上面的隐藏层),该层的目的是为了简化卷基层的训练输出数据。形象的说,pooling layer就是将卷基层进行压缩一下,举个例子,pooling layer的一个神经元可以对应卷积层的2*2区域的概括,具体的说,以最常用max pooling为例,在max pooling中,pooling层的每一个神经元的值对应卷积层的2*2的区域的最大输出值,如下图所示:
![max pooling](http://www.36dsj.com/wp-content/uploads/2016/02/166.png)
![卷积压缩](http://www.36dsj.com/wp-content/uploads/2016/02/167.png)
好了,现在可以将上面的所有元素组成一个整体了.我们可以使用下面的CNN网络模型:
![cnn网络模型](http://www.36dsj.com/wp-content/uploads/2016/02/168.png)
上图的最后一层是输出层,也就是手写识别的10个数字,需要说明的是这个输出层和pooling层是全连接的,也就是说,输出层的每个神经元都是和pooling层的所有神经元相连的。可以在中间多加几个卷积层和pooling层。
这些是CNN的基本模型,而且也只是以单个卷积层和pooling层为例,实际中可能会有多个卷积层,而且对应的全连接情况也是变化很多,比如我们我可在输出层之前再加一个全连接层。变化很多,因此这里只是简单的描述一下概念,后面会对CNN有更加深入的探讨。