TPAMI-2024-Fully Unsupervised Deepfake Video Detection Via Enhanced Contrastive Learning

一、研究背景
1.现有deepfake方法依赖于准确的标签监督，因此受限于标签数量或标签攻击。
2.现有无监督任务仍需要部分标注：利用无标注数据进行模型预训练，利用有标签数据微调分类器（类别需要标注）。

二、研究动机
1.以往工作中，上游对特征提取器的训练是无监督的，而下游对分类器的训练仍然需要真实标签监督。
2.真伪视频的深层高级特征相似性大，需要在语义层面提取特征，而不是像分类任务一样在理解层面提取特征。因此在无监督任务的初步聚类中，使用手工伪影特征（VAF）更合适。
3.单纯的对比学习框架不能改良伪造检测特征。

三、研究目标
在无标签的情况下训练下游的分类器。

四、技术路线

1.PSEUDO-LABEL GENERATOR

• 针对眼部和唇部提取手工特征。
• 聚类分配伪标签。由于没有任何先验知识，伪标签仅用于区分两种类型的簇，不能区分真假。

2.ENHANCED CONTRASTIVE LEARNING

• Data Augmentation
• Enhanced Contrastive Learner&#