一、论文信息
论文名称:Detecting and Grounding Multi-Modal Media Manipulation
作者团队:南洋理工+哈工大
Github:https://github.com/rshaojimmy/MultiModal-DeepFake
项目主页:https://rshaojimmy.github.io/Projects/MultiModal-DeepFake
论文地址:https://arxiv.org/abs/2304.02556
二、动机与创新
动机
由于如Stable Diffusion等视觉生成模型的快速发展,高保真度的人脸图片可以自动化地伪造,制造越来越严重的DeepFake问题。随着如ChatGPT等大型语言模型的出现,大量假本文也可以容易地生成并恶意地传播虚假信息。
为此,一系列单模态检测模型被设计出来,去应对以上AIGC技术在图片和文本模态的伪造。但是这些方法无法较好应对新型伪造场景下的多模态假新闻篡改。具体而言,在多模态媒体篡改中,各类新闻报道的图片中重要人物的人脸(如下图中法国总统人脸)被替换