NIPS-2022-OST: Improving Generalization of DFD via One-Shot Test-Time Training

一、研究背景
1.当测试数据与训练数据的特征差异较大时，检测器难以维持良好的性能，这种较弱的泛化能力阻碍了深度伪造检测器的应用。
2.以往工作试图提取伪造共有特征，但是这些特征不一定与测试数据共享。
3.一些工作利用混合边界、上采样、高通滤波增强泛化性，但是这种低级伪影对数据集特有的预处理步骤敏感，会影响泛化。另一些工作借用运动、坐标特征提高泛化性，但是这种人工特征较容易遭受未来合成手段的攻击。

二、研究动机
1.无论测试数据是真还是假，合成数据一定为假样本。

三、研究目标
1.构建一个特定于测试样本的辅助任务，并在测试前用其更新模型。
2.通过合成为伪练样本，克服测试数据无标签的问题。
3.通过one-shot test-time training在线优化模型，提升计算效率。
4.利用元学习，减轻对伪训练数据的过拟合。

四、技术路线
在source模型的基础上，利用测试数据和训练数据一起，对模型参数进行更新。

1.用每个测试图像合成伪训练样本，并构建one-shot test-time training来更新模型。