[深度学习从入门到女装]Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave

论文地址:Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution

一篇来自于facebook的论文,对传统conv进行改进

本文的思想挺有意思,在传统的图像分割的领域中,经常把图像decompose成low-frequecy低频和high-frequency高频,低频包含了更多平滑结构,高频包含了更多的细节信息,如下图所示,左为原图,中为低频,右为高频
在这里插入图片描述

feature map decompose

然后本文就提取,将feature map也进行低频高频的分割,让conv自动来学习低频高频信息之间的处理,然后也是用conv进行低频高频之间的融合
在这里插入图片描述
本文对feature map的分组如上图所示,首先是将channel数量为c的feature map,分为 X H ∈ R ( 1 − α ) c × h × w X_{H}\in R^{(1-\alpha)c\times h \times w} XHR(1α)c×h×w(高频channel), X L ∈ R α c × h × w X_{L}\in R^{\alpha c\times h \times w} XLRαc×h×w(低频channel)
然后将低频channel X L X_{L} XL进行spatial的压缩(这点我不是很理解),压缩成 h 2 、 w 2 \frac{h}{2}、\frac{w}{2} 2h2w大小的feature map

Octave Conv

在这里插入图片描述
整个octave conv的过程如上图所示
在这里插入图片描述
其中pool使用的是average pool

在经典网络中使用octave conv的方法,就是在第一次使用octave conv的时候,将 α i n = 0 , α o u t = α \alpha_{in}=0,\alpha_{out}=\alpha αin=0,αout=α,在最后一次使用octave conv的时候,将 α i n = α , α o u t = 0 \alpha_{in}=\alpha,\alpha_{out}=0 αin=α,αout=0,其他时候 α i n = α o u t \alpha_{in}=\alpha_{out} αin=αout

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值