深度学习--池化

---

前言

池化层是卷积神经网络中常用的一个组件，池化层经常用在卷积层后边，通过池化来降低卷积层输出的特征向量，避免出现过拟合的情况。池化的基本思想就是对不同位置的特征进行聚合统计。池化层主要是模仿人的视觉系统对数据进行降维，用更高层次的特征表示图像。池化层一般没有参数，所以反向传播的时候，只需对输入参数求导，不需要进行权值更新。比较常用的池化层主要有最大池化与平均池化。

---

一、最大池化

最大池化就是选取图像区域中的最大值作为该区域池化后的值。在前向传播过程中，选择图像区域中的最大值作为该区域池化后的值；在反向传播过程中，梯度通过前向传播过程时的最大值反向传播，其他位置的梯度为0。如下图所示，采用22的filters，步长stride=2，在原特征图44中提取特征得到右图2*2。
最大值池化的优点在于它能学习到图像的边缘和纹理结构。

对于最大池化，在前向传播计算时，是选取的每个区域中的最大值，这里需要记录下最大值在每个小区域中的位置。在反向传播时，只有那个最大值对下一层有贡献，所以将残差传递到该最大值的位置，区域内其余位置置零。具体过程如下图，其中4*4矩阵中非零的位置即为前边计算出来的每个小区域的最大值的位置。

二、平均池化

平均池化就是计算图像区域的平均值作为该区域池化后的值，Resnet网络结构后一般会使用平均池化。

对于平均池化，我们需要把残差平分，传递到前边小区域的n个单元即可，不需要记录下元素在每个小区域中的位置。平均池化比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去，但是这样会造成loss之和变为原来的N倍，网络是会产生梯度爆炸的。

---

池化的作用

(1) 减少信息冗余；

(2) 提高训练速度；
(3) 提高所提取特征的鲁棒性；
(4) 提升模型的尺度不变性、旋转不变性；
(5) 减少参数量、防止过拟合。

更多内容请关注微信公众号：深度学习与路径规划