CNN 中, 1X1卷积核的作用

1x1卷积最初引起研究者的重视应该是在Network in Network这篇文章里,后面在GoogLeNet和ResNet中都使用了1x1卷积,那么1x1卷积到底有什么用呢?

我认为主要作用有三点:

1. 实现跨通道的信息交互和整合。1x1卷积核只有一个参数,当它作用在多通道的feature map上时,相当于不同通道上的一个线性组合,实际上就是加起来再乘以一个系数,但是这样输出的feature map就是多个通道的整合信息了,能够使网络提取的特征更加丰富。

2. feature map通道数上的降维。降维这个作用在GoogLeNet和ResNet能够很好的体现。举个例子:假设输入的特征维度为100x100x128,卷积核大小为5x5(stride=1,padding=2)(这里卷积核的厚度为128),通道数为256(指的是一共有256个卷积核),则经过卷积后输出的特征维度为100x100x256,卷积参数量为5x5x128x256=819200。此时在5x5卷积前使用一个64通道(指的是卷积核的个数)的1x1卷积,最终的输出特征维度依然是100x100x256,但是此时的卷积参数量为1x1x128x64 + 5x5x64x256=417792,大约减少一半的参数量。

在一维的数据中,conv1也能起到降维的作用。假设输入的数据维度是8*16(16可以看做是通道数),卷积核大小是5,一共用256个卷积核,此时卷积的参数数目为5x16x256=20480;如果在中间先加入一个8通道的(卷积核的个数)的大小为1的卷积核,则其输出维度为5x8,这一部分的卷积核参数数目为1x16x8=128,再用一个大小为5,个数为256的卷积核进行卷积,其输出维度为:8x256,这一部分的卷积核参数数目为5x8x256=10240。两部分总的参数数目为128+10240=10368。比原来大约减少一半的数量

3. 增加非线性映射次数。1x1卷积后通常加一个非线性激活函数,使网络提取更加具有判别信息的特征,同时网络也能做的越来越深。

原文:https://blog.csdn.net/zzc15806/article/details/83448761 

二. 进行降维引起人们重视的(可能)是在GoogLeNet里。

对于每一个Inception模块(如下图),原始模块是左图,右图中是加入了1×1卷积进行降维的。虽然左图的卷积核都比较小,但是当输入和输出的通道数(也就是卷积核的数目)很大时,乘起来也会使得卷积核参数变的很大,而右图加入1×1卷积后可以降低输入的通道数,卷积核参数、运算复杂度也就跟着降下来了。

        以GoogLeNet的Inception模块为例,输入的feature map是28×28×192,Inception模块中1×1卷积通道为64(此卷积核的厚度为192,个数为64)3×3卷积通道为128,5×5卷积通道为32,如果是左图结构,那么卷积核参数为1×1×192×64+3×3×192×128+5×5×192×32,而右图对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层,这样卷积核参数就变成了1×1×192×64+(1×1×192×96+3×3×96×128)+(1×1×192×16+5×5×16×32),参数大约减少到原来的三分之一。          同时在并行pooling层后面加入1×1卷积层后也可以降低输出的feature map数量,左图pooling后feature map的个数是不变的(192个),再加卷积层得到的feature map(64+128+32),会使输出的feature map扩大到416(192+64+128+32),如果每个模块都这样,网络的输出会越来越大。而右图在pooling后面加了通道为32的1×1卷积,使得输出的feature map数降到了256(32+64+128+32)。GoogLeNet利用1×1的卷积降维后,得到了更为紧凑的网络结构,虽然总共有22层,但是参数数量却只是8层的AlexNet的十二分之一(当然也有很大一部分原因是去掉了全连接层)。



原文:https://blog.csdn.net/u014114990/article/details/50767786 

 


 

  • 1
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值