神经网络中的汇合层(pooling layer)

当第l层的操作为汇合时的情况。通常使用的汇合操作为平均值汇合和最大值汇合，需要指出的是，同卷积层操作不同，汇合层不包含需要学得的参数。使用时仅需指定汇合类型、汇合操作的核大小和汇合操作的步长等超参数即可。

什么是汇合

下面直接截图说明最大值汇合和平均值汇合操作的数学公式和图示：

汇合层操作的作用

从上面的例子可以发现，汇合操作后的结果相比其输入减小了，其实汇合操作实际上就是一种“降采样”(down-sampling)操作。另一方面，汇合操作也被看做一个p-范数作为非线性映射的“卷积”操作，特别是，当p趋近于正无穷时，其就是最常见的最大值汇合。
汇合层的引入是仿造了人的视觉系统对视觉输入对象进行降维(降采样)和抽象操作。
汇合层主要有以下三种作用：
1.特征不变性
汇合操作使模型更关注是否存在某些特征而不是特征的具体位置。可将其看做一种很强的先验，使特征学习包含某种程度的自由度，能容忍一些特征微小的位移。
2.特征降维
3.在一定程度上防止过拟合，更方便优化
不过，汇合操作并不是卷积神经网络必需的元件或者操作。近期，德国弗莱堡大学的研究者提出，用一种特殊的卷积操作(及stride convolutional layer）来替代汇合层实现降采样，进而构建一个只包含卷积操作的网络，其试验结果显示这种改造的网络可以达到甚至超过传统卷积神经网络(卷积层、汇合层交替)的精度。
注：文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著