2024-AAAI-FrequencyAwareDeepfakeDetection: ImprovingGeneralizabilitythroughFrequencySpaceLearning

一、研究背景
1.现有基于频率的伪造检测范式主要依赖于GAN网络中上采样操带来的频率伪影。
2.生成模型的特有伪影使深度伪造检测器难以充分在频域中进行学习，并使其过拟合于训练数据中的伪影，难以在不可见域上具有良好的泛化性能。
3.大多数现有的伪造检测方法在相同的域上进行训练与测试，并难以泛化到新的生成模型或新的种类。

二、研究动机
1.GAN架构中上采样操作产生的频率伪影已被证实在深度伪造检测中具有有效性。
2.不同GAN架构的平均快速傅里叶光谱显示出不同的伪影特性，相同架构在不同训练数据上也显示出差异。
3.尽管频域属性可用来做真假鉴别，但其在不同域上的泛化性较差。

三、研究目标
1.设计一种通用的深度伪造检测器，在训练数据有限的情况下有效地识别未知域上的深度伪造图像。
2.针对频域特征设计鲁棒的分类器。
3.不直接利用频域伪影训练分类器，而是令分类器在频率域中进行知识学习，以获更好的泛化性能（习得更准确的频域特征，减轻过拟合）。

四、技术路线
引入了一种新的频率感知方法FreqNet，同时挖掘图片中的频域信息和CNN模型提取到的特征，将频域学习集成到轻量CNN分类器中，围绕频域学习来强化深度伪造分类器的泛化性。