Rethinking the Up-Sampling Operations in Generative Network for Generalizable Deepfake Detection

一、研究背景
1.GANs和扩散模型的发展滋生了大量高度真实的合成图像，并增大了误用风险。
2.以往的深度伪造检测任务致力于设计新的检测算法，明显缺乏对生成架构的探究。
3.为了提升检测算法的泛化性，以往工作通常优化检测算法、扩充数据集、预训练模型，但是缺乏域不变表征使这些方法依旧难以应用于未知域。
4.当前一些工作主要研究上采样对整个图像在频域的影响，并用频谱表征上采样伪影，但是GAN不同的频域模式限制了频域伪影的泛化性能。

二、研究动机
1.上采样被广泛用于GAN模型和扩散模型，因此，在提升深度伪造检测泛化性上具有巨大潜力。
2.上采样使局部像素之间产生联系，同时，后续CNN的平移不变性使这种联系得以保存。
3.不管生成效果再怎么真实，上采样层的痕迹始终存在于局部的图片像素中。

三、研究目标
通过重新探究生成模型的上采样模块的像素级影响，实现域无关的伪造检测。

四、技术路线
重新思考基于CNN的深度伪造生成器，并构建了伪影的通用表征近邻像素关系Neighboring Pixel Relationships (NPR)，提升深度伪造检测的泛化性。

1. 引入Neighboring Pixel Relationships (NPR)的概念。
   x ^