论文阅读-DGM4-Detecting and Grounding Multi-Modal Media Manipulation

一、论文信息

论文名称：Detecting and Grounding Multi-Modal Media Manipulation

作者团队：南洋理工+哈工大

 

Github:https://github.com/rshaojimmy/MultiModal-DeepFake

项目主页：https://rshaojimmy.github.io/Projects/MultiModal-DeepFake

论文地址：https://arxiv.org/abs/2304.02556

二、动机与创新

动机

由于如Stable Diffusion等视觉生成模型的快速发展，高保真度的人脸图片可以自动化地伪造，制造越来越严重的DeepFake问题。随着如ChatGPT等大型语言模型的出现，大量假本文也可以容易地生成并恶意地传播虚假信息。

为此，一系列单模态检测模型被设计出来，去应对以上AIGC技术在图片和文本模态的伪造。但是这些方法无法较好应对新型伪造场景下的多模态假新闻篡改。具体而言，在多模态媒体篡改中，各类新闻报道的图片中重要人物的人脸（如下图中法国总统人脸）被替换