卷积神经网络（Convolutional Neural Network, CNN）

卷积神经网络是人工智能网络的一种，已成为当前语音分析和图像识别研究领域的热点，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。

卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。这些良好的性能是网络在有监督方式下学会的，网络的结构包括如下形式的约束：

（1）特征提取：每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来。

（2）特征映射：网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。

（3）子抽样：每个卷积层跟着一个实现局部平均和子抽样的计算层，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形的敏感度下降的作用。

 卷积网络工作流程如下图6：

 

图6. 卷积网络工作流程

该网络的输入是32×32的图像，其中C层是由卷积层神经元组成的网络层，S层是由子抽样层神经元组成的网络层。网络层C1是由8个特征图组成的卷积层。每个神经元与输入图像的一个5×5的邻域相连接，因此每个特征图的大小是28×28。网络层S2是由8个大小为14×14的特征图组成的子抽样层，它是由C1 层抽样得到。特征图的每个神经元与C1层的一个大小为2×2的邻域连接。网络层C3是由20个大小为10×10的特征图组成的卷积层。特征图的每个神经元与S2网络层的若干个特征图的5×5的邻域连接。网络层S4是由20个大小为5×5的特征图组成的子抽样层。特征图的每个神经元与C3层的一个2×2大小的邻域相连接。网络层C5 是由120个特征图组成的卷积层。每个神经元与S4网络层的所有特征图的5×5大小的邻域相连接。最后是个全连接层，得到输出向量。相继的计算层在卷积和抽样之间的连续交替，我们得到一个“双尖塔”的效果，也就是在每个卷积或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射的数量增加。

卷积神经网络的连接时，input 到 C1、S4 到 C5、C5 到 output 是全连接，C1 到 S2、C3 到 S4 是一一对应的连接，S2到 C3为了消除网络对称性，去掉了一部分连接，可以让特征映射更具多样性。需要注意的是 C5 卷积核的尺寸要和 S4 的输出相同，只有这样才能保证输出是一维向量。

图中所示的多层感知器包含近似 100000 个突触连接，但只有大约2600 个自由参数。自由参数在数量上显著地减少是通过权值共享获得的，学习机器的能力（以 VC 维的形式度量）因而下降，这又提高它的泛化能力。而且它对自由参数的调整通过反向传播学习的随机形式来实现。另一个显著的特点是使用权值共享使得以并行形式实现卷积网络变得可能。这是卷积网络对全连接的多层感知器而言的另一个优点。