CVPR2020:Face X-ray for More General Face Forgery Detection

目录

一、Abstract

二、Mothods

三、Experiments

 四、Question

---

一、Abstract

        随着深度学习在deepfake领域的应用，人脸伪造技术获得了巨大的提升。如何检测到这些被篡改过的图像成为一个重要问题。文章《Face X-ray for More General Face Forgery Detection》观察到一个图像伪造过程中的共同特点：大多数现存的人脸篡改方法都有一个融合目标人脸与背景（源图像）的步骤。通过找到这些融合边界（Face X-ray）能够很好的区分出图像的真伪。同时这种方法也能泛化到很过训练集中没有见到过的用其他生成方法生成的图像。

二、Mothods

        在图像伪造过程中，通常会留下一些伪造痕迹（数字成像时留下的信息，不同图像有不同的信息）。

 以往的方法通常关注于图像中呈现出来的虚影，而本文更加关注的是图像融合过程的边界，因为这是大部分图像篡改技术中必不可少的一步（如果想将一个人的人脸，融合到另一个背景中）。

为了实现这一训练方法，需要一些关于融合边界的标签信息。标签信息一部分来自原始的数据集，即将FF++数据集提供的原始groundtruth信息进行一定的变换获得融合边界信息。主要步骤如下：1、将原始的groundtruth信息变为只有两类值的mask（篡改区为1，未篡改区为0）；2、使用3*3的高斯核调整处理后mask，此时融合边缘变为（0，1）之间的值；3、使用公式将值为0或值为1的区域全置0，只保留融合边缘，得到Face X-ray，公式如下所示：

除此之外，为了获得更多的此类数据，进行数据增强，以提升模型的泛化能力。该方法提出了一种数据增强的方法。即将背景图中的人脸的landmark计算出来，并于数据集中的其他图片的人脸landmark进行比较，计算二者间landmark的欧式距离。为了提高泛化性，挑出一批欧式距离最近的照片，并随机选择一张作为前景（目标图像）。最终将前景与背景融合，得到一张新篡改的照片和face X-ray 。合成公式及流程如下所示：

 通过这样的标签处理，使模型能更加关注脸部融合的边界信息，能更关注图片融合过程中的通用步骤，从而提升模型的泛化能力。

三、Experiments

        文章选取HrNet作为模型的backbone，FF++数据集作为训练集，测试集为：DFD、DeepfakeDetection、DFDC、Celeb-DF。通过对比baseline Xception 、HRNet、Face X-ray，以及不使用数据增强的Face X-ray进行了对比实验。实验证明了Face X-ray方法和文中提出的数据增强方法的有效性。如图所示：

以及通过在不同数据集间进行了泛化实验，证明了方法泛化能力的有效性。

 四、Question

       该方法关注的是具有融合步骤生成的篡改图像的识别，但是对于基于Gan生成的deepfake并没有给出一个很好的解决方案。