池化方法(1)：General / Mean / Max / Stochastic / Overlapping / Global Pooling

池化方法(1)：General / Mean / Max / Stochastic / Overlapping / Global Pooling

 

CNN网络中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。深度网络越往后面越能捕捉到物体的语义信息，这种语义信息是建立在较大的感受野基础上。

 

1、一般池化(General Pooling)

池化作用于图像中不重合的区域（与卷积操作不同），定义池化窗口的大小为sizeX，即图中红色正方形的边长，定义两个相邻池化窗口的水平位移 / 竖直位移为stride。一般池化由于每一池化窗口都是不重复的，所以sizeX=stride。

池化方法总结（Pooling）

 

2、均值池化(Mean / Average Pooling)

一般池化的基础上，计算每个池化窗口对应图像区域的平均值，作为该区域池化后的值。

 

3、最大池化(Max Pooling)

一般池化的基础上，选取每个池化窗口对应图像区域的最大值，作为该区域池化后的值。

 

4、随机池化(Stochastic Pooling)

Stochastic pooling是一种简单有效的正则化CNN的方法，能够降低max pooling的过拟合现象，提高泛化能力。对于pooling层的输入，根据输入的多项式分布随机选择一个值作为输出。训练阶段和测试阶段的操作略有不同。

训练阶段：

1）前向传播：先将池化窗口中的元素全部除以它们的和，得到概率矩阵；再按照概率随机选中的方格的值，作为该区域池化后的值。

2）反向传播：求导时，只需保留前向传播中已经被选中节点的位置的值，其它值都为0，类似max-pooling的反向传播。

测试阶段：

在测试时也使用Stochastic Pooling会对预测值引入噪音，降低性能。取而代之的是使用概率矩阵加权平均。比使用Average Pooling表现要好一些。在平均意义上，与Average Pooling近似，在局部意义上，服从Max Pooling准则。

Stochastic Pooling for Regularization of Deep Convolutional Neural Networks

stochastic pool

 

5、重叠池化(Overlapping Pooling)

重叠池化，即相邻池化窗口之间会有重叠区域。如果定义池化窗口的大小为sizeX，定义两个相邻池化窗口的水平位移 / 竖直位移为stride，此时sizeX>stride。

Alexnet中提出和使用，不仅可以提升预测精度，同时一定程度上可以减缓过拟合。相比于正常池化（步长s=2，窗口x=2），重叠池化(步长s=2，窗口x=3) 可以减少top-1, top-5的错误率分别为0.4% 和0.3%。

 

6、全局池化(Global Pooling)

Global Pooling就是池化窗口的大小 = 整张特征图的大小。这样，每个 W×H×C 的特征图输入就会被转化为 1×1×C 的输出，也等同于每个位置权重都为 1/(W×H) 的全连接层操作。

深度学习: global pooling (全局池化)