深度学习【35】CondenseNet

CondenseNet是一种轻量级深度学习模型,结合了denseNet的跳跃连接和shuffleNet的channel shuffle,但不使用depthwise 3*3卷积,而是采用可学习的分组卷积。通过condensation factor控制网络压缩,实现更高效的计算。相比mobilenet,CondenseNet在保持相似精度的同时,模型更小、计算量更低。论文中提出的学习分组卷积允许在训练期间根据卷积核的L1值进行稀疏化。实验结果显示CondenseNet在模型大小和计算量上有显著优势。
摘要由CSDN通过智能技术生成

condenseNet与mobilenet、shuffleNet一样都是小而精悍的模型。与shuffleNet一样都是为了优化1*1卷积的计算量。同时借鉴了denseNet的跳跃连接和shuffleNet的channel shuffle。但是没有使用mobilenet的depthwise 3*3卷积,而是使用了分组卷积。condenseNet比mobilenet模型小了6M,计算量小了2倍,同时在imageNet上的top1精度一样。当condenseNet的模型大小与mobilenet一样时,在imageNet上的top1比mobilenet少了3%.

condenseNet主要创新是提出了可学习的分组卷积,论文中主要是针对1*1卷积,当然也可以在其他大的卷积核中使用。

我们先看看标准卷积与分组卷积的差别,从下图可以看出,分组卷积有点像标准卷积的稀疏卷积版本。只是分组卷积没那么随机,每个组的输入图片之间的通道是不交叉的。
这里写图片描述
其实该论文提出的可学习分组卷积,就是利用了网络压缩技术中的稀疏网络原理。即在训练期间根据卷积核的L1值对卷积核进行置零操作。

正常的分组卷积,只要输入通道数确定了,那么每一组的输入通道数也就固定了。如,输入通道为256,分为4组,那么每一组的输入通道为256/4=64。但是论文并没有这个做,而是设置了一个condensation factor。这个因子的作用是什么呢,举个例子:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值