mean-pooling(平均池化),max-pooling(最大池化)、Stochastic-pooling(随机池化)和global average pooling(全局平均池化)的区别简介

    在神经网络中,我们经常会看到池化层,常用的池化操作有四种:mean-pooling(平均池化),max-pooling(最大池化)、Stochastic-pooling(随机池化)和global average pooling(全局平均池化),池化层有一个很明显的作用:减少特征图大小,也就是可以减少计算量和所需显存。

    mean-pooling(平均池化):即对邻域内特征点只求平均

    优缺点:能很好的保留背景,但容易使得图片变模糊

    正向传播:邻域内取平均

1b90b54636434f4db51c8470e1809982.png

 反向传播:特征值根据领域大小被平均,然后传给每个索引位置

3c474d8996e4028ebd7f564ab931b087.png

 

   max-pooling(最大池化):即对邻域内特征点取最大

    优缺点:能很好的保留纹理特征,一般现在都用max-pooling而很少用mean-pooling

    正向传播:取邻域内最大,并记住最大值的索引位置,以方便反向传播

6d1d74e688a2ee126f453043a522075a.png

反向传播:将特征值填充到正向传播中,值最大的索引位置,其他位置补0

e11aa9bbc21bd04c68d9e79fd539541d.png

 

   

Stochastic-pooling(随机池化):只需对feature map中的元素按照其概率值大小随机选择,即元素值大的被选中的概率也大。而不像max-pooling那样,永远只取那个最大值元素。

    在区域内,将左图的数值进行归一化处理,即 1/(1+2+3+4)=0.1;2/10=0.2;3/10=0.3;4/10=0.4
 

07635512cb827d02d3baa9551923270a.png

     接着按照概率值来随机选择,一般情况概率大的,容易被选择到,比如选择到了概率值为0.3的时候,那么(1,2,3,4)池化之后的值为3。使用stochastic pooling时(即test过程),其推理过程也很简单,对矩阵区域求加权平均即可,比如上面图中,池化输出值为:1*0.1+2*0.2+3*0.3+4*0.4=3。在反向传播求导时,只需保留前向传播已经记录被选中节点的位置的值,其它值都为0,这和max-pooling的反向传播非常类似,具体可以参见上面的max-pooling反向传播原理。

    优点:方法简单,泛化能力更强(带有随机性)

 

    global average pooling(全局平均池化):全局平均池化一般是用来替换全连接层。在分类网络中,全连接层几乎成了标配,在最后几层,feature maps会被reshape成向量,接着对这个向量做乘法,最终降低其维度,然后输入到softmax层中得到对应的每个类别的得分,过多的全连接层,不仅会使得网络参数变多,也会产生过拟合现象,针对过拟合现象,全连接层一般会搭配dropout操作。而全局平均池化则直接把整幅feature maps(它的个数等于类别个数)进行平均池化,然后输入到softmax层中得到对应的每个类别的得分。在反向传播求导时,它的参数更新和mean-pooling(平均池化)很类似,可以参考上面的内容。

    优点:大幅度减少网络参数(对于分类网络,全连接的参数占了很大比列),同时理所当然的减少了过拟合现象。赋予了输出feature maps的每个通道类别意义,剔除了全连接黑箱操作。

bdbd7181ba6579703bbd57e4e52a229c.png

 

 

 

 

 

### 不同类型的池化方法 #### 最大池化 (Max Pooling) 最大池化是一种常用的降采样技术,在神经网络中用于减少特征图的空间尺寸。该过程通过选取窗口内的最大值作为输出,从而保留最显著的特征[^1]。 对于输入矩阵 `X` 大小为 `(k, k)` 的滑动窗口,最大池化的计算方式如下: ```python import numpy as np def max_pool(X, kernel_size=2): h_out = X.shape[0] // kernel_size w_out = X.shape[1] // kernel_size result = np.zeros((h_out, w_out)) for i in range(h_out): for j in range(w_out): patch = X[i*kernel_size:(i+1)*kernel_size, j*kernel_size:(j+1)*kernel_size] result[i,j] = np.max(patch) return result ``` 这种池化方式有助于增强模型对图像平移其他几何变换的鲁棒性,常应用于计算机视觉领域中的卷积神经网络(CNN)。 #### 平均池化 (Average Pooling) 平均池化则是取定区域内所有数值的算术平均数来表示这一区域的信息。相比最大池化而言,这种方法可以更好地保持原始数据的整体分布特性。 实现代码如下所示: ```python def avg_pool(X, kernel_size=2): h_out = X.shape[0] // kernel_size w_out = X.shape[1] // kernel_size result = np.zeros((h_out, w_out)) for i in range(h_out): for j in range(w_out): patch = X[i*kernel_size:(i+1)*kernel_size, j*kernel_size:(j+1)*kernel_size] result[i,j] = np.mean(patch) return result ``` 在某些情况下,当希望得到更柔平滑的结果时会选择此法;另外,在防止过拟合方面也有一定作用。 #### 随机池化 (Stochastic Pooling) 随机池化不同于上述两种确定性的策略,而是基于概率选择某个特定位置上的像素点作为代表。具体来说,给定一个局部感受野内各元素的概率分布p(x),按照这个分布抽样决定哪个单元格被选为代表者。 这种方式增加了训练过程中样本多样性,理论上能够提高泛化能力。然而由于其引入了额外不确定性因素,在实际应用中并不常见。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值