TPAMI 2024 | 检测和定位多模态媒体操控及其扩展

题目：Detecting and Grounding Multi-Modal Media Manipulation and Beyond

检测和定位多模态媒体操控及其扩展

作者：Rui Shao; Tianxing Wu; Jianlong Wu; Liqiang Nie; Ziwei Liu

---

摘要

错误信息已成为一个紧迫的问题。虚假媒体，无论是视觉形式还是文本形式，在网络上都很普遍。尽管提出了各种DeepFake检测和文本虚假新闻检测方法，但它们仅设计用于基于二元分类的单一模态伪造，遑论分析和推理跨不同模态的细微伪造痕迹。在本文中，我们提出了一个多模态虚假媒体的新研究问题，即检测和定位多模态媒体操控 (DGM4)。DGM4旨在不仅检测多模态媒体的真实性，还要定位被操控的内容（即图像边界框和文本标记），这需要对多模态媒体操控进行更深入的推理。为了支持大规模调查，我们构建了第一个DGM4数据集，其中图文对通过各种方法进行操控，并对各种操控进行了丰富的注释。此外，我们提出了一种新颖的层次多模态操控推理转换器（HAMMER），以充分捕捉不同模态之间的细粒度交互。HAMMER