深度学习 - 卷积神经网络 CNN - 简述

层级结构

一般的卷积神经网络包括以下组成部分：

1. 数据输入层 Input Layer

   对数据做基本处理：

   ① 去均值：全样本减去训练集的均值，中心 0 化
   ② PCA：降维
   ③ 白化：对每个特征维度进行归一化

2. 卷积计算层 Convolution Layer

   定义一个 filter 的尺寸以及步长作为滑动窗口，覆盖计算所有像素点。每滑动计算后，得到一个卷积层中的数据点，如果数据长度对窗口尺寸无法整除，则需要填充数据，zero-padding。

   卷积计算属于局部关联，得到局部特征图谱，而非计算全局特征，这个特性也称为稀疏交互。除此之外还要指定深度，即神经元个数。

   另外由于 filter 的存在，卷积神经网络还具有参数共享的优点。一个卷积神经元对应一个 filter.降低了参数的数量。从物理层面来看，卷积层具有平移等变性。假如图片中有一个红色小球，那么不管它出现在图片的哪个位置，我们都应当识别它为红色小球。即平移变换对识别结果没有影响。

3. 池化层 Pooling Layer

   池化层的本质为下采样。同样定义一个pooling 窗口尺寸，对窗口中的数据进行计算，常用的方法有 max pooling 与 average pooling。

   max pooling 是选择窗口中最大的元素，能够一直网络参数误差造成估计均值偏移的现象，特点是更好地提取纹理信息。

   average pooling 则是计算窗口中所有元素的的平均值，能够一直犹豫邻域大小受限造成估计值方差增大的现象，特点是对背景的保留效果更好。

   池化操作也能显著降低参数数量。

4. 全连接层 Full Connection Layer

   将上一层的卷积结果进行平铺，视为普通神经网络计算。全连接层通常在最后。

5. 输出层 Output Layer

   计算最终输出结果。可以是一个神经元使用 Sigmoid，也可以是多个神经元做 Softmax.