torch池化整理

 CNN中的作用：1).提取感受野内最具代表性的特征；
        2).抑制噪声，降低信息冗余；
        3).有效减少模型参数量，降低网络优化难度，防止网络过拟合；
        4).使模型对输入图像中的特征位置变化更加鲁棒。

1.最大池化 & 平均池化

 特征图寸尺计算公式（同卷积）：

$$output=\lfloor \frac{input-kernel+2\ast padding}{stride}\rfloor +1$$

import torch.nn as nn

nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)
nn.AvgPool2d(kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True, divisor_override=None)

参数	描述
return_indices (bool)	是否输出最大元素在tensor中的索引。
ceil_mode (bool)	是否采用向上取整的方式计算输出特征图尺寸。
count_include_pad (bool)	计算时是否包含padding。
divisor_override (Optional[int])	指定除数，默认值为池化区域大小。

 参数验证详见文章：MaxPool2d、AvgPool2d

注：stride默认值为kernel_size输入值，padding后由左上为起点进行池化操作。

2.全局最大池化 & 全局平均池化

 论文，更多可参考文章。

import torch.nn as nn

nn.AdaptiveMaxPool2d(output_size, return_indices=False)
nn.AdaptiveAvgPool2d(output_size)

参数	描述
output_size (Union[int, None, Tuple[Optional[int], Optional[int]]])	$F_{out}$ or $(H_{out},W_{out})$

3.随机池化（Stochastic Pooling）

  将范围内的元素同除以元素和，作为随机选取元素的概率。即值最大的元素由必被选取变为大概率被选取，故池化层具有更强的泛化能力。

代码：参考1、参考2

4. 混合池化（Mix Pooling）

 论文

  为了提高训练较大CNN模型的正则化性能，在模型训练期间随机采用了最大池化和平均池化，一定程度上有助于防止网络过拟合。

5. 幂平均池化（Power Average Pooling）

 论文

  基于平均池化和最大池化的结合，利用一个学习参数来确定这两种方法的相对重要性。即当$p=1$时，使用局部求和，当$p\to \infty$时，使用最大池化，其定义如下：
$$\tilde{a}=\sqrt[p]{\sum _{i\in R}{a}_i^p}$$
  其中$R$表示待池化区域中的像素值集。

6. DPP池化（Detail-Preserving Pooling）

 论文

  为了降低隐藏层的规模或数量，大多数CNN都会采用池化方式来减少参数数量，来改善某些失真的不变性并增加感受野的大小。池化本质上是一个有损的过程，目标是保留对网络可判别性最重要的部分进行激活。该池化可以放大空间变化并保留重要的图像结构细节，且其内部的参数可通过反向传播加以学习。

7. 局部重要性池化（Local Importance Pooling）

 论文

  CNN通常使用空间下采样层来缩小特征图，以实现更大的接受场和更少的内存消耗，但对于某些任务而言，这些层可能由于不合适的池化策略而丢失一些重要细节，最终损失模型精度。为此，作者从局部重要性的角度提出了局部重要性池化，通过基于输入学习自适应重要性权重，LIP可以在下采样过程中自动增加特征判别功能。

8. 软池化（Soft Pooling）

 论文    代码

  软池化是基于softmax加权的方法来保留输入的基本属性，同时放大更大强度的特征激活。与maxpooling不同，softpool是可微的，所以网络在反向传播过程中为每个输入获得一个梯度，这有利于提高训练效果。可以在保持池化层功能的同时尽可能减少池化过程中带来的信息损失，更好地保留信息特征并因此改善CNN中的分类性能。

 
 
 

参考：一文看尽深度学习中的9种池化方法！