【Deepfake Detection】 Fully Unsupervised Deepfake Video Detection via Enhanced Contrastive Learning

• 来源：2024 TPAMI（CCF A）
• 作者：Tong Qiao, Shichuang Xie, Yanli Chen, Florent Retraint, and Xiangyang Luo∗
• 单位：Hangzhou Dianzi University, Hangzhou, China
• Paper：https://ieeexplore.ieee.org/document/10411047
• Code： https://github.com/bestalllen/Unsupervised_DF_Detection/

背景

• 问题： 大多数的深度视频检测框架下的监督机制需要大量的样本与准确的标签训练。

  • 带有真实标签的训练样本数量不足
  • 训练数据被对手恶意毒害时（存在噪声标签）

• 解决方法：
  设计一个完全无监督的深度伪造检测器。

  • 设计了一个伪标记生成器来标记训练样本，其中传统的hand-crafted的特征用于表示真伪两种类型的样本。
  • 将带有伪标签的训练样本输入到所提出的增强对比学习器中，在对比损失的指导下，进一步提取并不断迭代细化真伪鉴别特征。
  • 基于帧间相关性，完成了真实和虚假视频之间的二值分类。

方法流程

阶段1：伪标签生成器的建立

在下游任务中，提出了一种增强对比学习方法，这种方法需要真实样本和虚假样本，尽管在训练阶段真实标签是未知的。为了解决这个问题，引入了一种为训练数据分配伪标签的方法。然而，简单地随机分配标签对学习过程没有帮助；需要一种更系统的方法：（基于一个关键假设：学习过程能够成功，前提是有足够的样本和基本正确的标签。换句话说，需要为具有一定程度聚类纯度的样本分配伪标签。）为了实现这一点，提出了一种 Primitive clustering方法，通过对训练样本进行聚类，得到对应的伪标签。

在无监督聚类中，“Purity”被用来评估聚类的性能。由于以下增强对比学习的要求，我们必须保证 Primitive clustering后的Purity。

（1）采用深度聚类策略，通过预先训练的DNN模型对各种类型的图像进行多重聚类。深度聚类的核心思想是将原始的高维数据映射到低维的特征空间中。然后通过复合损失函数对预训练的表示形式进行微调，使其在迭代过程中更具鉴别性。

（2）采用传统的hand-crafted提取方法。

两种方法对比如下：

相对比，hand-crafted的特征很可能适合于文章中提出的 Primitive clustering。

阶段2：增强对比学习

在这里进行对比实验，（a）不依赖伪标签，（b）依赖伪标签，对比可知，伪标签的存在有利于网络的训练。

阶段3：二值分类&鉴定

对于视频提取多帧，经过Encoder Network得到对于的特征后，进行Kmeans聚类，分成两类，超过半数的那类进行帧间相关性计算，从而判断视频的真伪。

实验部分

消融实验

与先进的方法对比

方法的泛化性