Learning in the Frequency Domain-----2020CVPR

论文：Learning in the Frequency Domain https://arxiv.org/pdf/2002.12416.pdf
年份：2020-CVPR
代码：https://github.com/calmevtime/DCTNet

本文主要思想就是省略图像压缩/解压缩中计算量最大的步骤，直接利用频域特征来进行图像推理，减少系统中模块之间的数据传输量，从而提升系统性能。输入的数据量更小，深度神经网络在图像分类/分割任务上的精度反而提升了。该网络把RGB图像变换到DCT频率域，而不是直接下采样。该模型不需要改变现有网络结构，因此可以应用于任何CNN网络。

1.简介

现有的神经网络主要在具有固定输入大小的空间域中运行。但在实际应用中，图像通常较大，并且必须降采样为神经网络的预定输入大小。即使下采样操作会减少数据传输量，但它会明显删除冗余信息和显着信息，从而导致精度下降。受数字信号处理理论的启发，本文从频率角度分析了频谱偏差，并提出了一种基于学习的频率选择方法，以识别可以去除而无精度损失的琐碎频率分量。所提出的在频域中学习的方法在接受频域信息作为输入的同时，利用了诸如ResNet-50，MobileNetV2和Mask R-CNN等神经网络的相同结构。实验结果表明，与传统的空间下采样方法相比，在静态选择信道的情况下进行频域学习可以获得更高的精度，同时可以进一步减小输入数据量。

该方法的总体思路：高分辨率RGB图像首先转换到YCbCr颜色空间，然后转换为DCT频域。 这样就产生多个通道。某些通道对于分类识别的影响较大，因此，只保留重要的通道输入到CNN处理即可。具体来说，将图像按8x8分块，在Y通道每个块会得到64个DCT信号，对应64个不同的频率分量。对于尺寸为W x H的原始图像, 会有W/8 x H/8 个块。每个块中相同位置的频率分量可以组成一个尺寸为W/8 x H/8 的feature map，这样会产生8x8=64个feature map。对于Cb和Cr通道，也可以各自产生64个feature map。总共产生了64x3=192个feature map。假设W=H=448, 那么现有的基于频域的feature map的尺寸为56x56x192。对于ResNet-50，输入为224x224，经过一次卷积和pooling后， feature map 尺寸为 56x56。这样我们可以把 56x56x192 的 feature map 放在这里即可。

2.导言

之前研究存在的问题：

图像缩小不可避免地会导致信息丢失和精度下降.
先前的工作旨在通过学习任务感知的网络来减少信息丢失。 然而，这些网络是特定任务的，需要额外的计算， 这在实际应用中不能广泛应用。
解决方法：在频域上重塑高分辨率图像，即:离散余弦变换(DCT)域而不是在空间域中调整它们的大小，然后将重塑的DCT系数送到CNN模型进行推理。 该方法几乎不需要修改现有的CNN 模型，以 RGB 图像作为输入。 因此，它是常规数据预处理管道的一种通用替代方法。

图1显示了该方法与传统方法的比较。
(a)使用RGB图像作为输入的传统的基于CNN的方法的工作流程。

(b)采用DCT系数作为输入的方法的工作流程。CB表示CPU和GPU/加速器之间所需的通信带宽。
在传统的方法中，高分辨率的RGB图像通常在CPU上进行预处理，然后传输给GPU/AI加速器进行实时推理。由于RGB格式的未压缩图像通常很大，因此CPU和GPU/AI加速器之间的通信带宽要求通常很高。这种通信带宽可能成为系统性能的瓶颈，如图1(a)所示。

为了降低计算成本和通信带宽的要求，将高分辨率的RGB图像向下采样到更小的图像中，往往会导致信息丢失和推理精度下降。

本文方法，高分辨率的RGB图像仍然在CPU上进行预处理。然而，它们首先被转换到YCbCr颜色空间，然后转换到频域。

这与最广泛使用的图像压缩标准(如JPEG)一致。所有相同频率的分量被分组到一个信道中。这样，就产生