图像篡改检测之约束R-CNN方法

论文：CONSTRAINED R-CNN A GENERAL IMAGE MANIPULATION DETECTION MODEL （约束r-cnn:一种通用图像处理检测模型）
Code link:https://github.com/VedantWani/Constrained-R-CNN
R-CNN具有多任务输出的特性，其在定位篡改区域的同时，可以利用class输出端来预测篡改区域所属的篡改类型。
本文亮点：不仅可以定位篡改区域，还可识别篡改类型

2.1 架构

首先，可学习的操作特征提取器将从数据中直接学习独特的特征表示；之后，注意区域建议网络（RPN-A）有效地辨别出经历过处理的区域，为之后的操作分类以及粗略定位作准备；然后，融合了低级和高级的信息来细化全局的操作特征；最后，粗略定位信息指导模型来进一步地学习到更好的局部特征，并且把篡改过的区域分割出来。

2.2 方法概述

针对操纵技术分类问题，设计了基于约束的卷积层的可学习操作特征提取器（LMFE），直接从数据中产生各种内容操作的统一的特征表示。针对篡改区域分割问题，设计了一个两阶段的架构来模拟现实中从粗到细的取证过程。详细来说，使用了Mask R-CNN，包括了两个阶段：
一阶段：设计了注意区域建议网络（RPN-A），以识别经过篡改的区域，用于后面的操作技术分类以及粗略的定位。跳跃结构融合低级与高级的信息，增强了全局特征表示。来自第一阶段的边框信息（bounding box information）将指导第二阶段关注边框中的局部特征，用于最后的篡改区域分割。
二阶段：粗略地观察图像来进行近似篡改定位，而在精细阶段，则对特定的区域进行更加详细的分析，寻找更多的线索来对篡改区域进行分割。如下图，Constrained R-CNN由可学习操作特征提取器（LMFE），粗略操作检测（Stage-1），精细操作分割（Stage-2）组成。

LMFE模块捕获各种内容操作的伪造线索，并创建统一的特征表示。
Stage-1包含了注意区域建议网络（RPN-A）和预测模块，执行操纵技术的分类以及边框回归（bounding box regression）。
Stage-2跳跃结构融合多级信息，增强全局特征表示。作为先验知识，Stage-1的边框引导Stage-2聚焦局部特征，用于之后的操作分割。

2.3 约束卷积层

下图比较了SRM滤波器与约束卷积层的可视化结果，约束卷积层能够保留更丰富的信息，从篡改区域的细节上看，约束卷积层能够突出真实区域与篡改区域之间的噪声不一致性。

尽管约束卷积层能够捕捉到丰富的操纵线索，但会丢失大量的内容信息，比如颜色，亮度。内容信息的缺乏会削弱全局特征的类间区分，这会导致操纵分割也被削弱。因此，设计了注意区域建议网络来解决这个问题，能够让网络学习具有很强的类间区分能力的特征表示。具体来说，RPN-A添加了卷积块的注意机制（convolution block attention model，CBAM），CBAM能够沿着两个独立的维度，即空间维度与通道维度推断出两张注意力地图。然后将这两个注意力图与输入特征图相乘，得到更具区别性的特征。利用CBAM的特征图提出了关注区域，也就是潜在的篡改区域。

2.4 代码复现检测结果

测试结果如下
篡改图8张：（每张测试图中的四张图片分别为：输入原图、输入篡改区域的二值掩模、输出概率热图、输出检测结果 ）：

---

未篡改图8张：每张测试图中的三张图片分别为：输入原图、输出概率热图、输出检测结果

图片太大无法上传抱歉，反正效果不咋地嘿嘿