【 Audio-Visual】Emotions Don’t Lie: An Audio-Visual Deepfake Detection Method using Affective Cues

Emotions Don’t Lie: An Audio-Visual Deepfake Detection Method using Affective Cues

会议：ACM MM2020
作者：

Project Page: https://gamma.umd.edu/deepfakes/

关键点

提出了一种基于学习的方法，用于检测真实和伪造的深度伪造多媒体内容。研究者们提取并分析了视频中两个模态——音频和视觉——之间的相似性，并且提取并比较了来自两个模态的感知情感线索，以推断视频是真实的还是伪造的。

他们提出了一个受孪生网络架构和三元组损失启发的深度学习网络。为了验证模型，研究者们在两个大规模深度伪造检测数据集上报告了AUC指标，并与几种现有的最先进深度伪造检测方法进行了比较。

据研究者们所知，他们的方法是基于音频和视频模态以及两个模态中的感知情感来检测深度伪造的首次尝试。

侧重于分析音频和视觉模态之间的相似性以及感知情感线索来识别伪造内容