卷积神经网络CNN

本文学习笔记的部分内容参考zouxy09的博客，谢谢！http://blog.csdn.net/zouxy09/article/details/8775360

什么是卷积

卷积如果改名为“加权平均积”，就会很好理解了。卷积的离散形式就是常用的加权平均，而连续形式则可理解为对连续函数的加权平均。假如我们观测或计算出一组数据，但数据由于受噪音的污染并不光滑，我们希望对其进行人工处理。那么，最简单的方法就是加权平均。实际上加权平均是两个序列在做离散卷积，其中一个序列是权重，另一个序列是原数据。试想若把序列换为函数，则就是我们通常卷积的定义。这时可使用一个函数对另外一个函数做加权平均。不过，一个扮演的是权重角色，另一个则扮演被平均的角色。

数学上定义：设ƒ(x),g(x)是实数集R上的两个可积函数，作积分

图像特征

其实对于一张图片来说，像素级特征是没有价值的，特征是具有结构性的时候，才能更好的反应这幅图像。因此可通过卷积神经网络把底层特征表达一层层的抽象到高层特征表示。如：像素级特征表示的图像，在第一层学习后得到梯度级图像表示，再上一层学习后得到目标部分级图像表示，再次学习后得到整个目标结构模型特征。

其实卷积神经网络的本质是构建多层学习模型，来学习得到图像更有价值的特征，从而最终提升分类或预测的准确性。

卷积神经网络

卷积神经网络是人工神经网络的一种，它的最厉害的地方在于权值共享网络结构，降低了网络模型的复杂度，减少了权值数量。优点是图像可直接作为网络的输入，避免了传统算法中复杂的特征提取和数据重建的过程。

CNN利用空间关系减少需要学习的参数数目。CNN中，图像的一小部分作为层级结构的最底层输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著特征。

卷积神经网络结构

CNN是一个多层神经网络，每层由多个二维平面组成，每个平面由多个独立神经元组成。

如上图，输入层可直接使用原图像的像素表示作为输入，通过三个可训练的滤波器和可加偏置对原图像进行卷积，卷积后在C1层产生三个特征映射图(每个特征映射图都可看为是对原图像的抽象)，这是一个卷积的过程，称为卷积层。卷积层得到的特征映射图作为输入，将图中每组的四个像素进行求和，加权值，加偏置，再通过一个sigmoid函数得到三个S2层的特征映射图，这是一个下采样的过程。如此卷积层和下采样层交替，最终给出图像的向量表示。后可接一个分类器(如SVM或传统神经网络)得到输出。

参数减少和权值共享

卷积神经网络最厉害的地方在于权值共享网络结构，其具体做法如下：

上图左：如果我们有1000*1000像素的图像，有1000000个隐层神经元，那么他们全连接的话（每个隐层神经元都连接图像的每一个像素点），就有1000*1000*1000000=10^12个连接，也就是10^12个权值参数。

考虑到图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数了。如上图右：假如局部感受野是10*10，隐层每个感受野只需要和这10*10的局部图像相连接，所以1百万个隐层神经元就只有一亿(1000000*10*10)个连接，即10^8个参数。

试想如果每个神经元用的都是同一个卷积核去卷积图像。这样我们就只有100个参数。所以不管隐层的神经元个数有多少，两层间的连接只有100个参数，所有神经元公用同一个卷积核，这就是权值共享。

因为一种滤波器，也就是一种卷积核就是提出图像的一种特征，当需要提取不同的特征时，需要加多几种滤波器就可以了。所以假设我们加到100种滤波器，每种滤波器的参数不一样，表示它提出输入图像的不同特征，这样每种滤波器去卷积图像就得到对图像的不同特征的映射，称之为Feature Map。所以<