【论文笔记】ManTra-Net:Manipulation Tracing Network For Detection And Localization of Image Forgeries With

Deep_Lnna

已于 2022-11-16 16:47:00 修改

阅读量1.8k

点赞数 3

分类专栏：篡改检测论文阅读文章标签：论文阅读深度学习人工智能

于 2022-11-12 19:59:16 首次发布

本文链接：https://blog.csdn.net/weixin_45366180/article/details/127814057

版权

ManTra-Net: Manipulation Tracing Network For Detection And Localization of Image Forgeries With Anomalous Features

论文链接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Wu_ManTra-Net_Manipulation_Tracing_Network_for_Detection_and_Localization_of_Image_CVPR_2019_paper.pdf

源码链接：https://github.com/ISICV/ManTraNet

摘要

本文提出了一个不需要额外的预处理和后处理的、端到端的篡改检测网络ManTra-Net。ManTra-Net是一个完全卷积的网络，可以处理任意大小的图像和许多已知的伪造类型，如拼接、复制移动、删除、增强，甚至未知类型。主要的贡献在于用一个自监督学习的方式从385种篡改类型中学习特征。并且将篡改定位问题当做一个局部异常点检测问题来解决，使用Z-score特征捕获局部异常，使用LSTM方法进行评估。大量实验结果表明，Mantra-Net不仅在单一类型的操纵/伪造中，而且在复杂的组合中都具有推广性、鲁棒性和优越性。

引言

拼接、复制移动、移除、增强是研究的最多的。移除选定的图像区域 (例如隐藏对象)，并用从背景估计的新像素值填充空间。图像增强是局部操作的广泛集合，例如锐化，亮度调整等。

根据伪造的特征，可以使用不同的线索作为检测/定位的基础。这些线索包括JPEG压缩伪影，边缘不一致，噪声模式，颜色一致性，视觉相似性，EXIF一致性和相机模型。然而，现实生活中的伪造更为复杂，如图1所示，恶意伪造者通常使用一系列操作来隐藏伪造，包括最新技术，例如基于深度神经网络 (DNN) 的面部交换，如图1-© 所示。这迫使我们开发新的统一伪造检测技术，该技术不限于一种或几种已知的操纵类型，而是能够处理更复杂和/或未知的类型
在这里插入图片描述
一个经常被忽视的问题是伪造区域定位。 现有的大多数方法只关注图像级的检测——图像是否是伪造的。此外，提供定位能力的方法通常依赖于繁重的、耗时的前和/或后处理，例如，补丁提取、期望最大化、特征聚类、分割等。最后，特征学习和伪造掩码生成之间的脱节暗示了未优化的伪造检测和定位方法。

在本文中，我们解决了上述问题，并提出了一种称为ManTra-Net的新颖解决方案，用于广义图像伪造定位/检测（IFLD）。它通过识别局部异常特征来检测伪造像素，因此不限于特定的伪造或篡改类型。这是一个端到端的解决方案，因此无需应用预处理和/或后处理。它也由所有可训练的模块组成，因此可以针对IFLD任务共同优化所有模块。