卷积神经网络-截自Deep Learning by Yann LeCun

卷积神经网络是为了处理多维数组提出的模型。这个多维数组可以指3通道的二维数组比如颜色图像。除此之外，这种类型的数据还有许多：1维的信号或序列数组（比如文字）、二维的图像或音频频谱图以及三维的视频或立体图像。通过利用自然信号的特点，卷积神经网络的四个设计点在于局部连接、权值共享、池化以及多层结构（local connections, shared weights, pooling and the use of many layers）
一个典型的卷积神经网络结构由多层组成。开始的若干层一般由卷积层和池化层构成。卷积神经网络中的单元（unit）包含在feature map中。通过feature map，每一个单元可以跟上层的特征图中的局部块通过一组权值连接。这组权值被称作filter bank。局部加权和通过非线性映射（如 ReLU）输出到下一层。一个特征图中的所有单元共享相同的filter bank。不同的特征图中的单元使用不同的filter bank。这种结构的原因有两个：一是多维数组中（比如图像），局部数据一般都高度相关，构成了鲜明的局部图案。二是图像或其他信号的局部统计信息与位置无关。换而言之，如果一个图案在图像的一部分出现，那么他也可能出现在图像的各个位置。因此，不同位置的单元共享相同的权值可以用来发现矩阵不同位置相同的模式。从数学的角度来讲，通过特征图实现的过滤操作（filtering operation）是一个离散卷积。
卷积层的作用在于发现上一层中存在的局部特征结构，池化层的作用在于将一些语义相近的特征合并在一起。由于相近位置的特征结构可能不同，想要实现图案的检测可以通过粗粒化每一个特征的位置得到。（Because the relative positions of the features forming a motif can vary somewhat, reliably detecting the motif can be done by coarse-graining the position of each feature.）一个典型的池化单元即最大池化。相邻位置的池化单元通过对图像块平移一个行位移或一个列位移实现，从而可以减少表示的纬度并得到对小位移和变形的不变形。两到三层的卷积、非线性映射、池化一般跟着更多的卷积层和全连接层。卷积神经网络的反向传播梯度类似于一般的深度网络，使得所有的filter bank中的权值可以被训练。
深度神经网络揭示了许多自然信号都是层次结构的。高维的特征可以通过低维特征组合得到。在图像中，将边缘局部组合在一起变成了纹理，纹理构成区域，区域形成目标。类似的分层结构也存在于声音和文字中。池化层允许前一层位置和形状不同的元素表示非常接近的信息。

参考文献：
[1]Deep Learning by Yann LeCun