学过信号与系统的同学应该记得,信号可以分为:时域信号(一维),空间域(多维),频域,自相关域和小波域。真实世界的信号一般是连续的模拟信号,存在于时域和空间域。
通常通过傅里叶变换从时域或者空间域转换到频域。傅里叶变换将信号信息转换成每个成分频率上的幅度和相位。在频域分析信号的最常见目的是分析信号属性。工程师通过分析频谱就可以知道输入信号中包含了哪些频率的信号。
显然一般的深度学习方法,以图像为例,模型的输入为图像本身,属于空间域信息,那么有没有可能将空间域信息转换到频域进行分析,并得到一些效果的提升或其他方面的优势呢?Learning in the Frequency Domain这篇论文告诉我们是可以的。
为什么需要频域
在传统方法中,通常在CPU上对高分辨率RGB图像进行预处理,然后将其传输到GPU / AI加速器以进行实时推断。 由于RGB格式的未压缩图像通常较大,因此对CPU和GPU / AI加速器之间的通信带宽的要求通常很高。为了降低计算成本和通信带宽需求,将高分辨率RGB图像下采样为较小的图像,这通常会导致信息丢失和推理精度降低。