learning in the frequency domain

前言

传统的CNN都是在图像的空间域上进行特征学习，受限于显存限制，CNN的输入图像不能太大，最常见的尺寸就是224x224。而常用的预处理(Resize)，以及CNN中的下采样，会比较粗暴的损失数据的信息。阿里达摩院联合亚利桑那州大学提出了基于DCT变换的模型，旨在通过DCT变换保留更多原始图片信息，并减少CPU与GPU的通信带宽，最后的实验也证明该模型的有效性

原始论文地址：Learning in the Frequency Domain
代码地址 DCTNet

介绍

大部分CNN模型只能接受 224x224大小的RGB图片，然而现实中存在大量高清图片(1920x1080)，甚至最常用的ImageNet数据集，平均图片大小来到了 482x415。

RGB格式图片大小通常比较大，在CPU和GPU传输需要较大通信带宽，并且难以部署。同时我们预处理里面的缩放以及下采样，会带来信息的损失以及精度的下降。

本文，我们尝试在频域内维持高分辨率的原始图片，进行DCT变换，并通过动/静态的通道选择方法，对输入通道进行蒸馏(最高可蒸馏87.5%在Resnet)，并保持较高精度。

方法

上图是整个图像处理流程，我们依然在CPU上对图片进行预处理。

• 首先将RGB格式转化为YCbCr格式
• 然后做DCT变换转换到频域
• 然后我们将相同频率的二维DCT变换系数分组到一个通道，形成一个立方体(Cube)。
• 为了进一步降低推理时间，我们从中选出比较重要的几个通道作为输入。其中方法包含动态选择和静态选择
• 最后将这些Tensor给连结到一起并归一化。

我们这里遵循JPEG的8x8分块形式，将一张图片分成8x8的小方块，在单独对每个小方块上做DCT变换

然后我们将所有8×8块中相同频率的分量分组到一个通道，保持分块在每个频率上的空间对应关系。

因此 Y，Cb，Cr每个通道都提供了8x8=64的通道。

处理后的图片形状变为
$$(H/8,W/8,C\ast 64)$$

使用了这种处理方法，意味着在相同开销下，我们的输入图片可以比原始的大8倍！

例如，对于MobileNetv2，我们可以输入896x896x3的图片，处理完后为112x112x192大小，再通过第一个卷积模块对通道数进行调整。

如下图所示，我们将上述DCT处理步骤替换到ResNet中，仅需把前面三个卷积，池化模块（步长为2）给去除即可。其他结构保持不变。

DCT（补充）

具体可以参考 详解离散余弦变换（DCT）
DCT即离散余弦变换，实际上就是将输入信号限定为实偶信号的离散傅里叶变换(DFT)

公式为
$$X[K]={\Sigma }_{n=0}^{}$$