Self-supervised Learning of Adversarial Example:Towards Good Generalizations for Deepfake Detection

目录

一、Context

二、Contributions

三、Method

1、选取两张图片作为生成器的输入，生成复合数据增强参数的forgeries。

2、将数据增强后的forgeries和数据集中的图像送入判别器中，预测出图像的真伪、伪造区域、融合类型以及融合比率，进行自监督训练。

3、计算loss，优化模型。

四、Experiments

五、Ablation Study​​​​​​​

一、Context

        之前的研究在数据集内的检测精度已经取得了非常不错的效果，但是与在现实中使用还有较大的差距。原因在于：过去的研究专注于在个数据集内部进行训练和测试，这就导致了虽然对测试集的检测效果很好，但是对现实中的deepfake不能达到很好的检测效果。因为现实中的deepfake的生成方法可能是训练集中所没有的。

        为了解决这一问题，提升deepfake detector的泛化性，使得模型能更好的应用于现实生活中，本文提出了使用对抗学习（adversarial learning）以及自监督学习（Self-supervised）增强模型对不同deepfake方法的敏感性从而增强泛化性的方法。

论文链接：Self-supervised Learning of Adversarial Example:Towards Good Generalizations for Deepfake Detec代码链接：https://github.com/liangchen527/SLADD

二、Contributions

        1、文章中利用对抗数据增强来丰富forgeries的类型，这种数据增强区别于一般图像的数据增强（旋转、裁切、颜色变换等），是一种更适合deepfake detection任务的数据增强。它有效的提升了模型的泛化能力。

        2、使用自监督学习，Discrimination增加对模型数据增强参数的预测，增强了模型对不同deepfake methods的敏感程度，从而提升了模型的泛化能力。

三、Method

1、选取两张图片作为生成器的输入，生成复合数据增强参数的forgeries。

        这两张图片分别叫做pristine（数据集中未经改变的原始图像）reference（数据集中的存在的forgeries）。

        数据增强参数是该模型为deepfake detection任务设计的参数组合，包括：伪造区域选择（region selection）、融合类型选择（blending type selection）以及融合率（blending ratio）。伪造区域是在deepfake方法中伪造的重灾区，包括：眼睛、鼻子、嘴巴以及他们的组合。融合类型分别是：alpha blending、Poission blending、本文提出的mixup 以及不做融合操作保持pristine的原样。融合率只有融合类型为mixup时才有效，他是一个（0，1）之间的标量。

2、将数据增强后的forgeries和数据集中的图像送入判别器中，预测出图像的真伪、伪造区域、融合类型以及融合比率，进行自监督训练。

3、计算loss，优化模型。

        loss分为两部分，一部分是主任务的loss，即判断图像真伪。在文章中采用的是AM-Softmax loss。相比于softmax，它有更小的类内变化和更大的类间差异（自己的理解：类与类之间有一定间隔）。

         另一部分是辅助任务的损失，即对数据增强参数估计的loss。训练时遵循对抗学习的训练策略。

四、Experiments

        将FF++数据集作为训练集，CelebDF、DFDC、DeeperForensics-1.0作为测试集。比较了该方法与几种SOTA方法的泛化性（在不同数据集间，不同压缩程度间，），结果如下：

  

        实验结果表明：该方法在不同数据集、不同压缩程度以及多任务学习方面都取得了优于其他SOTA方法的泛化性。

五、Ablation Study

        文章通过控制变量，验证了数据增强参数、对抗学习、以及自监督学习对模型的有效性。