DDVQA：Common Sense Reasoning for Deepfake Detection

From: ECCV 2024
Paper: https://arxiv.org/pdf/2402.00126
Code: https://github.com/Reality-Defender/Research-DD-VQA

总结：DDVQA介绍了一种新的深度伪造检测方法，称为深度伪造检测VQA（DDVQA）任务。该方法通过提供文本解释来模拟人类的直觉，解释图像为何被标记为真实或伪造。研究者们引入了一个新的注释数据集，并提出了一个基于视觉和语言的Transformer框架来处理DD-VQA任务。此外，他们还结合了文本和图像感知特征对齐来增强多模态表示学习。

Introduction

DD-VQA任务核心：传统方法将深度伪造检测归类为二元分类任务。DD-VQA将任务扩展为多模态任务，使其能够针对给定问题生成真实/伪造的答案及其相应的解释。