【综述】CNN中的池化操作-你见过的没见过的池化这里都有

池化操作(Pooling)是CNN中非常常见的一种操作，Pooling层是模仿人的视觉系统对数据进行降维，池化操作通常也叫做子采样(Subsampling)或降采样(Downsampling)，在构建卷积神经网络时，往往会用在卷积层之后，通过池化来降低卷积层输出的特征维度，有效减少网络参数的同时还可以防止过拟合现象。

主要功能有以下几点：

1. 抑制噪声，降低信息冗余
2. 提升模型的尺度不变性、旋转不变形
3. 降低模型计算量
4. 防止过拟合

一提到池化操作，大部分人第一想到的就是maxpool和avgpool，实际上还有很多种池化操作。

大部分pooling操作满足上图的模型，假设输入大小为$i$, 输出大小为$o$, kernel size简称$k$, stride简称$s$，满足以下公式：
$$o=\lfloor \frac{i-k}{s}\rfloor +1$$

1. 最大/平均池化

最大池化就是选择图像区域中最大值作为该区域池化以后的值，反向传播的时候，梯度通过前向传播过程的最大值反向传播，其他位置梯度为0。

使用的时候，最大池化又分为重叠池化和非重叠池化，比如常见的stride=kernel size的情况属于非重叠池化，如果stride<kernel size 则属于重叠池化。重叠池化相比于非重叠池化不仅可以提升预测精度，同时在一定程度上可以缓解过拟合。

重叠池化一个应用的例子就是yolov3-tiny的backbone最后一层，使用了一个stride=1, kernel size=2的maxpool进行特征的提取。

>>> import torch
>>> import torch.nn.functional as F
>>> input = torch.Tensor(4,3,16,16)
>>> output = F.max_pool2d(input, kernel_size=2, stride=2)
>>> output.shape
torch.Size([4, 3, 8, 8])
>>>

平均池化就是将选择的图像区域中的平均值作为该区域池化以后的值。

>>> import torch
>>> import torch.nn.functional as F
>>> input = torch.Tensor(4,3,16,16)
>>> output = F.avg_pool2d(input, kernel_size=2, stride=2)
>>> output.shape
torch.Size([4, 3, 8, 8])
>>>

2. 随机池化

Stochastic pooling如下图所示，特征区域的大小越大，代表其被选择的概率越高，比如左下角的本应该是选择7，但是由于引入概率，5也有一定几率被选中。

下表是随机池化在CIFAR-10上的表现，可以看出，使用随机池化效果和采用dropout的结果接近，证明了其有一定防止过拟合的作用。

更详细内容请看论文：《Stochastic Pooling for Regularization of Deep Convolutional Neural Networks》

3. 中值池化

与中值滤波特别相似，但是用的非常少，中值池化也具有学习边缘和纹理结构的特性，抗噪声能力比较强。

4. 组合池化

组合池化则是同时利用最大值池化与均值池化两种的优势而引申的一种池化策略。常见组合策略有两种：Cat与Add。常常被当做分类任务的一个trick，其作用就是丰富特征层，maxpool更关注重要的局部特征，而average pooling更关注全局特征。

def add_avgmax_pool2d(x, output_size=1)