TPAMI 2024 | 通过增强对比学习实现完全无监督的深度伪造视频检测

题目：Fully Unsupervised Deepfake Video Detection Via Enhanced Contrastive Learning

通过增强对比学习实现完全无监督的深度伪造视频检测

作者：Tong Qiao; Shichuang Xie; Yanli Chen; Florent Retraint; Xiangyang Luo

源码链接： https://github.com/bestalllen/Unsupervised_DF_Detection/

---

摘要

如今，网络上广泛流传着大量的深伪视频，严重损害了公众的可信度和社会安全。尽管最近涌现出越来越多的可靠检测器来抵抗这种新兴的篡改技术，但仍有一些具有挑战性的问题需要解决，以至于大多数监督机制框架下的深伪视频检测器需要大量具有准确标签的样本进行训练。当具有真实标签的训练样本量不足或训练数据被对手恶意毒化时，监督分类器可能不能可靠地进行检测。为了解决这个棘手的问题，有人提议设计一个完全无监督的深伪检测器。特别是，在整个训练或测试过程中，我们不知道任何关于样本真实标签的信息。首先，我们新颖地设计了一个伪标签生成器来标记训练样本，其中使用传统的手工特征来表征这两种类型的样本。其次，将带有伪标签的训练样本输入到改进的对比学习器中，在对比损失的指导下，进一步提取鉴别特征，并通过迭代不断精化。最后，根据视频的帧间相关性，完成了真假视频的最终二值分类。大量的实验结果验证了我们提出的无监督深伪检测器在包括FF++