论文:CONSTRAINED R-CNN A GENERAL IMAGE MANIPULATION DETECTION MODEL
(约束r-cnn:一种通用图像处理检测模型)
Code link:https://github.com/VedantWani/Constrained-R-CNN
R-CNN具有多任务输出的特性,其在定位篡改区域的同时,可以利用class输出端来预测篡改区域所属的篡改类型。
本文亮点:不仅可以定位篡改区域,还可识别篡改类型
2.1 架构
首先,可学习的操作特征提取器将从数据中直接学习独特的特征表示;之后,注意区域建议网络(RPN-A)有效地辨别出经历过处理的区域,为之后的操作分类以及粗略定位作准备;然后,融合了低级和高级的信息来细化全局的操作特征;最后,粗略定位信息指导模型来进一步地学习到更好的局部特征,并且把篡改过的区域分割出来。
2.2 方法概述
针对操纵技术分类问题,设计了基于约束的卷积层的可学习操作特征提取器(LMFE),直接从数据中产生各种内容操作的统一的特征表示。针对篡改区域分割问题,设计了一个两阶段的架构来模拟现实中从粗到细的取证过程。详细来说,使用了Mask R-CNN,包括了两个阶段:
一阶段:设计了注意区域建议网络(RPN-A),以识别经过篡改的区域,用于后面的操作技术分类以及粗略的定位。跳跃结构融合低级与高级的信息,增强了全局特征表示。来自第一阶段的边框信息(bounding box information)将指导第二阶段关注边框中的局部特征,用于最后的篡改区域分割。
二阶段:粗略地观察图像来进行近似篡改定位,而在精细阶段,则对特定的区域进行更加详细的分析,寻找更多的线索来对篡改区域进行分割。如下图,Constrained R-CNN由可学习操作特征提取器(LMFE),粗略操作检测(Stage-1),精细操作分割(Stage-2)组成。
LMFE模块捕获各种内容操作的伪造线索,并创建统一的特征表示。
Stage-1包含了注意区域建议网络(RPN-A)和预测模块,执行操纵技术的分类以及边框回归(bounding box regression)。
Stage-2跳跃结构融合多级信息,增强全局特征表示。作为先验知识,Stage-1的边框引导Stage-2聚焦局部特征,用于之后的操作分割。
2.3 约束卷积层
下图比较了SRM滤波器与约束卷积层的可视化结果,约束卷积层能够保留更丰富的信息,从篡改区域的细节上看,约束卷积层能够突出真实区域与篡改区域之间的噪声不一致性。
尽管约束卷积层能够捕捉到丰富的操纵线索,但会丢失大量的内容信息,比如颜色,亮度。内容信息的缺乏会削弱全局特征的类间区分,这会导致操纵分割也被削弱。因此,设计了注意区域建议网络来解决这个问题,能够让网络学习具有很强的类间区分能力的特征表示。具体来说,RPN-A添加了卷积块的注意机制(convolution block attention model,CBAM),CBAM能够沿着两个独立的维度,即空间维度与通道维度推断出两张注意力地图。然后将这两个注意力图与输入特征图相乘,得到更具区别性的特征。利用CBAM的特征图提出了关注区域,也就是潜在的篡改区域。
2.4 代码复现检测结果
测试结果如下
篡改图8张:(每张测试图中的四张图片分别为:输入原图、输入篡改区域的二值掩模、输出概率热图、输出检测结果 ):
未篡改图8张:每张测试图中的三张图片分别为:输入原图、输出概率热图、输出检测结果
图片太大无法上传抱歉,反正效果不咋地嘿嘿