分组卷积的实现

本文介绍了分组卷积的概念,通过对比普通卷积,阐述其将特征图平均分为N组进行卷积操作,降低参数量的同时引入正则效果。分组卷积在轻量化网络中广泛应用,但缺点是通道间信息交流受限。在PyTorch中,通过设置卷积层的groups参数即可实现分组卷积,需要注意groups参数要能整除输入和输出通道数。
摘要由CSDN通过智能技术生成

一、分组卷积的概念(回顾)

前面讲了。这里简单回顾一下:

分组卷积就是将特征图平均分为N组,然后每组内部进行正常卷积,然后N组得到的特征图按照通道维度进行拼接,得到输出。

如图所示,左边是正常的卷积,输入通道为12,输出通道为6,卷积核大小为3*3。

右边就是分组卷积。分成了三组,然后分别做卷积。每一组输入通道有4,输出通道为2。经过分组卷积之后,得到的也是6个通道输出。

二、分组卷积的优缺点

分组卷积的优点:

1. 分组卷积的参数量是正常卷积的1/N 。N为分组数,这里为3。

2.分组卷积可以看成是正常卷积的稀疏结构,可以视为一种正则。感觉优点类似与Dropout~

3. 逐通道卷积可以进一步减少参数,在轻量化网络中很常用。

分组卷积的缺点:

数据信息只存在本组里面。通道之间的信息没有交互,存在信息的屏蔽和阻塞,不流通。

三、pytorch中使用分组卷积


                
  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值