前言
自己在学习CNN过程中,查找网上一些资料,对pooling层有了一些理解,记录下来,也供大家参考:
pooling层(池化层)的输入一般来源于上一个卷积层,主要有以下几个作用:
1.保留主要的特征,同时减少下一层的参数和计算量,防止过拟合
2. 保持某种不变性,包括translation(平移),rotation(旋转),scale(尺度),常用的有mean-pooling和max-pooling
mean-pooling(平均值)
对一块小区域取平均值,假设pooling的窗大小是2x2,
1.forward:就是在前面卷积层的输出的不重叠地进行2x2的取平均值降采样,就得到mean-pooling的值。举例:
2x2区域取平均值
不重叠的4个2x2区域分别mean-pooling
2.backward:把一个值分成四等分放到前面2x2的格子区域里面就好了。举例:
四等分(2/4= 1/2) 放到2x2的区域
四个值分别Backword
max-pooling(最大值)
即对一小块区域取最大值,假设pooling的窗大小是2x2,
1.forward:就是在前面卷积层的输出的不重叠地进行2x2的取最大值降采样,就得到max-pooling的值。举例:
2x2区域取最大值
不重叠的4个2x2区域分别max-pooling
2.backward:在max-pooling前向传播时,只取最大值,其他值无作用.
因此反向传播时,只关注最大值,所以将残差传递到该最大值的位置,区域内其他2*2-1=3个位置置零
四个值分别Backward
Caffe中池化层的配置
池化层的配置信息如下:
layer {
name: 'pool1'
bottom: 'conv1_2'
top: 'pool1'
type: "Pooling"
pooling_param {
pool: MAX
kernel_size: 2
stride: 2
}
}
参考资料:
http://blog.csdn.net/jiejinquanil/article/details/50042791
http://blog.csdn.net/l691899397/article/details/52250190
https://www.zhihu.com/question/36686900
----------------------------------------------------------------
楼主为菜鸟小白一枚,发表这个文章为了记录学习过程,方便以后查阅
如果有错误的地方,还请大家多提宝贵意见