【论文学习】Implicit Identity Driven Deepfake Face Swapping Detection

Introduction

本文发表在2023 CVPR，原文链接: Implicit Identity Driven Deepfake Face Swapping Detection

研究背景

1. 早期的研究工作通常将人脸交换检测看作二元分类任务。然而，简单的分类指导无法学习人脸交换的内涵，因此深度网络缺乏对伪造的深层理解。
2. 最近的研究工作致力于探索特定的伪造模式，如噪声分析、局部区域和频率信息，从而更好地检测伪造痕迹。但是这种方式针对于特定的伪造痕迹，模型的泛化性较差。

本文动机

如图所示，人脸交换旨在将目标人脸替换为源人脸，从而进一步生成人眼无法分辨的假人脸。本文介绍了两个关于伪造人脸的概念，即显性身份和隐性身份。具体来说，显性身份代表了假脸的样子，即源脸身份。对于隐性身份，本文认为假脸来自于源脸和目标脸。尽管它看起来像源人脸，但它可能或多或少包含目标人脸身份信息。本文将这种潜在的目标人脸信息称为假人脸的隐性身份。

因此，本文提出了一种新的**隐性身份驱动（IID）**框架来检测人脸交换。主要动机是探索人脸的隐性身份，从而引导深度网络做出更合理的检测。

技术路线

将人脸图像分别嵌入到显性和隐性身份特征空间中，用隐性身份和显性身份之间的距离作为判断真假的依据。由于真实人脸的隐性身份与其显性身份是一致的，因此距离非常近则为真实人脸，否则为伪造人脸。

主要贡献

1. 本文从全新的角度提出了一个隐式身份驱动的人脸交换检测框架，该框架探索了假人脸的隐式身份。这增强了深度网络来区分具有未知操作的假人脸。
2. 本文设计了显性身份对比（EIC）损失和隐性身份探索（IIE）损失。EIC损失使真实样本更接近其显性身份，同时使伪造样本远离其显性身份。IIE旨在引导具有已知目标身份的伪造人脸具有较小的类内距离和较大的类间距离。
3. 大量的实验和可视化证明了本文的方法优于最先进的方法

Method

如图所示，将真实人脸样本（绿色方框）和虚假人脸样本（红色方框）混合作为训练集。在训练过程中，本文使用通用的人脸识别模型获得训练样本的显性身份特征作为对比。骨干网络提取的隐性身份特征受到隐性身份探索（IIE）损失的监督。此外，真实样本被拉近其显性身份，而伪造样本被推离其显性身份。二元交叉熵（BCE）引导网络根据显性和隐性身份之间的差异输出预测置信度。

1. EIC损失使真实样本更接近其显性身份，同时使伪造样本远离其显性身份。因此，真实样本收敛到其隐性身份（与隐性身份相同），而伪造样本则被挖掘出与显性身份无关的特征。

2. 网络在EIC的指导下偏向于提取显性无关特征，但有可能提取身份无关特征，因此提出IIE损失，进一步探索伪造样本的隐性身份。
（1）已知目标身份

此损失函数参考链接: CosFace: Large Margin Cosine Loss

与CosFace不同的是，本文分别为真实样本和伪造样本分配了不同的margin。其中，真实样本的margin被设置为固定值0.4，未知样本的margin定义为

此时的mfake随着真实样本的拟合而变化。因此，在模型训练的早期阶段，mfake非常小，以至于真实样本受到关注。在真实样本（目标人脸）完全拟合后开始关注伪造样本。此外，伪造人脸不断接近其对应的目标人脸。通过这种渐进式学习策略，深度网络首先探索真实人脸（目标人脸）的隐性身份（与显性身份相同），然后拟合伪造人脸。

（2）未知目标身份（关键思想是保持同一伪造视频中不同帧的身份一致性。）

对于来自同一视频的不同帧，赋予相同的label。建立查找表，储存存储所有未知隐性身份的特征，由于每个视频对应一个未知隐性身份，因此一个视频对应查找表中的每一列。对于同一视频的每一帧，在网络的前向传播过程中，计算其隐性身份特征与表中对应列隐性身份的余弦相似度，在网络的后向传播过程中更新查找表中对应的列。Softmax函数定义了样本xi被分类为y * i的概率


4. 整体损失函数

Experiment

消融实验

跨数据集实验

可视化结果

验证EIC的有效性，显性身份与隐性身份对比

验证IIE的有效性，隐性身份探索