Pooling层/池化层/采样层

Pooling层
空间合并（Spatial Pooling) 也可以叫做子采样或者下采样，可以在保持最重要的信息的同时降低特征图的维度。它有不同的类型，如最大化，平均，求和等等。

对于Max Pooling操作，首先定义一个空间上的邻居，比如一个2 × 2 2\times 22×2的窗口，对该窗口内的经过ReLU的特征图提取最大的元素。除了提取最大的元素，还可以使用窗口内元素的平均值或者是求和的值。不过，Max Pooling的性能是最好的。例子可以如下图所示：

上图中使用的步进值是2。

根据相关理论，特征提取的误差主要来自两个方面：

邻域大小受限造成的估计值方差增大；
卷积层参数误差造成估计均值的偏移。
一般来说，mean-pooling能减小第一种误差，更多的保留图像的背景信息，max-pooling能减小第二种误差，更多的保留纹理信息。

使用Pooling的原因有如下几点：

• 不变性，更关注是否存在某些特征而不是特征具体的位置。可以看作加了一个很强的先验，让学到的特征要能容忍一些的变化。
• 减小下一层输入大小，减小计算量和参数个数。
• 获得定长输出。（文本分类的时候输入是不定长的，可以通过池化获得定长输出）
• 防止过拟合或有可能会带来欠拟合