(论文阅读)All You Need is a Few Shifts: Designing Efficient Convolutional Neural Networks for Image

问题:移位操作受限于移位操作(memory movement)。主要体现在计算内存较小时,如GPU。

目的:解决移位操作中,内存移动的限制。

方法:采用稀疏移位层(sparse shift layer)(较少的移位操作)构建有效的卷积神经网络。

具体做法:

1.在损失函数中给无用的移位操作添加惩罚项,去除无用的移位操作:

 
        2.Fully-Exploited Network(FE-Net):每层部分特征图参与计算,其它特征图不参与计算而是直接当做下一层特征图。 

移位操作和深度可分离卷积的比较:

shift operationdepthwise separable convolution
和深度可分离卷积结构相同时节省运行时间运行时间长
运行时间不受核尺寸的影响运行时间受卷积核尺寸影响

补充知识点:

名词解释
shift operation(移位操作)区别于深度可分离卷积,先把原通道进行移位操作然后直接运用1x1卷积操作。
depthwise separable convolution

(深度可分离卷积)将传统的卷积核拆分成两部分,例如:将3x3(x3)x96的卷积核拆分成3x3(x3)不加和操作+1x1(x3)x96加和操作的卷积。

memory movement(内存移动)将源内存地址的内容拷贝到目标内存地址中。
float point opera- tions (FLOPs)(浮点运算)要计算的数是浮点型
  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值