频域补零上采样_频域深度学习 Learning in the Frequency Domain

学过信号与系统的同学应该记得，信号可以分为：时域信号（一维），空间域（多维），频域，自相关域和小波域。真实世界的信号一般是连续的模拟信号，存在于时域和空间域。

通常通过傅里叶变换从时域或者空间域转换到频域。傅里叶变换将信号信息转换成每个成分频率上的幅度和相位。在频域分析信号的最常见目的是分析信号属性。工程师通过分析频谱就可以知道输入信号中包含了哪些频率的信号。

显然一般的深度学习方法，以图像为例，模型的输入为图像本身，属于空间域信息，那么有没有可能将空间域信息转换到频域进行分析，并得到一些效果的提升或其他方面的优势呢？Learning in the Frequency Domain这篇论文告诉我们是可以的。

为什么需要频域

在传统方法中，通常在CPU上对高分辨率RGB图像进行预处理，然后将其传输到GPU / AI加速器以进行实时推断。 由于RGB格式的未压缩图像通常较大，因此对CPU和GPU / AI加速器之间的通信带宽的要求通常很高。为了降低计算成本和通信带宽需求，将高分辨率RGB图像下采样为较小的图像，这通常会导致信息丢失和推理精度降低。