Pooling层相关

1. 不变性，更关注是否存在某些特征而不是特征具体的位置。可以看作加了一个很强的先验，让学到的特征要能容忍一些的变化。

以最大池化为例，具体表现为

(1)translation invariance：

(2)rotation invariance

(3)scale invariance

2.将Abitrary size转为fixed size，如ROI-Pooling。

3.减少输出的大小，减少参数。卷积操作会导致神经层丢失一些信息，所以不采用在卷积中使得sride大于1来进行压缩。若把压缩过程放到Pooling层中，先选出有用信息再压缩长宽，可减少信息的丢失。

4.防止过拟合

5.但有可能带来的欠拟合。因为池化都是一个无限强的先验（池化带来的先验是平移等不变性），但当实际数据不具有平移不变性，其数据依赖于精确的空间信息时，用池化会导致欠拟合。顺便提一下卷积，卷积也是一种无限强的先验，卷积的先验认为除邻近区域，其他区域权重为0，具有空间不变性，但当任务需要整合相隔较远位置的信息时，卷积便会导致欠拟合。

可通过在一些通道上使用池化或卷积，一些通道上不适用，从而实现既获得较高不变性，又获得当不变性不合理时不会导致欠拟合的特征。

来源：深度学习