MaxPooling AveragePooling
目的:
1、整合特征
2、减少参数
2、平移不变性
如上图使用的max pooling,当底层特征向右偏移一位时,由于max pooling 只关注较大值,可以看到上层特征变化不大。
上图中三个detector分别探测不同偏移方向的数字5,当探测到对应偏移的数字5时,相应的detector就会激活。而在detector上层的pooling就能很好的对所有激活的detector产生激活。从而可以对数字的变形具有一定鲁棒性。
类别:
常有相邻矩形区域内的平均值、最大值、 L2 范数以及基于据中心像素距离的加权平均函数。
AveragePooling:对邻域内特征点求平均。
输入:
1 3
2 2
输出:
2
MaxPooling:对邻域内特征点求最大值。
输入:
1 3
2 2
输出:
3
Stochastic-pooling:
通过对像素点按照数值大小赋予概率(越大概率越大),再按照概率进行亚采样,概率越大越容易被采到,避免max pooling总是取最大值。在平均意义上,与mean-pooling近似,在局部意义上,则服从max-pooling的准则。
GlobalMaxPooling GlobalAveragePooling
global池化主要是用来解决全连接的问题,其主要是是将最后一层的特征图进行整张图的一个池化,形成一个特征点。来源于network in network。
全连接层存在限制输入维度大小,参数过多的问题。如上图,全连接层需将所有特征图转成向量拼接后再全连接。而global pooling思想是既然你全连接后最终还是输出一个固定大小向量,那不如直接对每个feature map进行处理。比如128个9*9的feature map,对每个feature map取最大值直接得到一个128维的特征向量。