池化层 pool
池化层,可以降低数据体的空间尺寸,这样的话就能减少网络中参数的数量,使得计算资源耗费变少,也能有效控制过拟合。
最常见的形式是池化层使用尺寸 2 × 2 2 \times 2 2×2 的滤波器,以步长为 2 2 2 来对每个深度切片进行降采样,将其中 75 % 75\% 75% 的激活信息都丢掉。
平均池化历史上比较常用,但是现在已经很少使用了,因为实践证明,最大池化(MAX操作)的效果比平均池化要好:
2 × 2 2 \times 2 2×2 的最大池化:
反向传播
池化层中, m a x ( x , y ) max(x,y) max(x,y) 函数的反向传播可以简单理解为将梯度只沿最大的数回传。因此,在向前传播经过池化层的时候,通常会把池中最大元素的索引记录下来(有时这个也叫作道岔(switches)),这样在反向传播的时候梯度的路由就很高效。