跟着专注于计算机视觉的AndyJ的妈妈我学神经网络Octave

0.怕了怕了，看网络

来自Facebook，发表到了ICCV2019。
论文地址： Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution
主要还是为了让网络更快，减少计算量。
对传统的convolution进行改进，降低空间冗余。

1.motivation

reducing both memory and computation cost.
这篇文章，也是发现了在自然图像中，图像可以分为高低频率。如下图：

可以看出，高频部分多对应于图像的global信息，而低频则对应一些纹理信息。

图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度，对图像而言，图像的边缘部分是突变部分，变化较快，因此反应在频域上是高频分量；图像的噪声大部分情况下是高频部分；图像平缓变化部分则为低频分量。可以参考：参考1，参考2。

将图像扩展到特征图，特征图也可以认为有高频低频信息。然后用两种卷积，分别去提取高低频特征。（相比与我们那篇AD-block，我们也是认为特征图存在高低频两种信息，我们是去滤波，分别处理。）他认为低频信息变化缓慢，所以为了降低空间冗余度，用更小的特征图来表示，以此节约计算量。如下图：

所以提出了使卷积核，来对高频低频进行分别操作。同时还要有高低频率的交互（AD-block中，是直接进行 element-wise multiplication）。

2.method

通过一个 Octave 将 高频 和 低频 特征隔离到不同的组中，并将低频的分辨率减半。使用超参 $\alpha$ 控制高低频channel数。低频为$\alpha$则高频为 $1-\alpha$ 。无论比例$\alpha$选择是多少，OctConv 的参数数量都是与常规卷机一致的。当 $\alpha =0$ 时（即没有低频成分），OctConv 就会退化为普通卷积。如图：

Octave卷积的设计：

研究人员指出，通过卷积降采样会导致特征图无法准确对齐。并推荐使用池化操作来进行降采样。参考。

3.reference

参考1
参考2
好了，这篇文章大概看下就好了，也算是我们AD-block的一个relate work吧。

4.haole