卷积神经网络CNN的初理解

前言

卷积神经网络（Convolutional Neural Network，CNN）。
CNN被用于图像识别、语音识别等各种场合，在图像识别的领域中，基于
深度学习的方法几乎都以CNN为基础。

CNN整体结构

CNN的网络结构，CNN和之前的神经网络一样，可以通过组装层的方式来构建。
CNN新的内容是，出现了卷积层（convolution层）和池化层（pooling层）

对比神经网络的学习

神经网络中，相邻层的所有神经元之间都有连接，这称为全连接（fully-connected）。另外，我们用Affine层实现了全连接层。
如图7-1所示，全连接的神经网络中，Affine层后面跟着激活函数ReLU
层（或者Sigmoid层）。这里堆叠了4层“Affine-ReLU”组合，然后第5层是
Affine层，最后由Softmax层输出最终结果（概率）。

对比CNN的网络（添加了Conv层和Pooling层）

靠近输出的层中使用了之前的“Affine - ReLU”组合。此外，最后的输出层中使用了之前的“Affine - Softmax”组合。这些都是一般的CNN中比较常见的结构。

卷积层（Convolution层）

新的术语

填充、步幅、特征图、各层中传递的数据是有形状的数据（比如说三维数据，而不再是之前神经网络中一维数据）

全连接层存在的问题

在全连接层中，相邻层的神经元全部连接在一起，输出的数量可以任意决定，全连接层的问题在于，数据的形状被“忽视”了。输入数据是图像时，图像通常是高、长、通道方向上的3维形状。实际上，前面提到的使用了MNIST数据集的例子中，输入图像就是1通道、高28像素、长28像素
的（1, 28, 28）形状。
一句话说，图像作为3维形状，包含了重要的空间信息，3维形状可能还隐藏着值得提取的本质模式。因为全连接层会忽略形状，导致这一信息无法读取。
而卷积层可以保持形状不变，将图像数据以3维数据的形式输出至下一层。
CNN 中，有时将卷积层的输入输出数据称为特征图（