Learning Rich Features for Image Manipulation Detection论文笔记

图像篡改技术：拼接、复制、去除

一、解决的问题：

视觉篡改（例如，被篡改边缘附近的篡改），而且可以捕获局部噪声特征中的不一致性。

二、概述

从RGB图像输入中提取特征来发现篡改伪影，如强烈的对比度差、不自然的篡改边界等
利用从富含隐写分析的模型滤波器（SRM）层提取的噪声特征来发现真实和篡改区域之间的噪声不一致。
双线性池化层融合来自两个流的特征

三、网络结构

RGB stream input：RGB 流输入；对可见的篡改痕迹（例如：物体边界经常出现的高对比度）进行建模，并将边界框（bounding boxes）回归为ground-truth。
SRM filter layer：SRM 过滤层；提取噪声 feature map，然后利用噪声特征提供图像处理分类的附加依据；
Noise stream input：噪声流输入；分析图像中的局部噪声特征，先让输入RGB图像通过一个 SRM 过滤层；
RGB Conv Layers：RGB 卷积层
Noise Conv Layers：噪声卷积层
RGB 流和噪声流共用 RPN 网络生成的 region proposals，RPN 网络只将 RGB 特征作为输入。Faster R-CNN 中的 RPN（Region Proposal Network）负责 propose 可能包含相关目标的图像区域，其经过改造后可以执行图像处理检测。
RPN layer：RPN 层
RoI pooling layer：Rol 池化层；从 RGB 流和噪声流中选择空间特征；
RGB RoI features：RGB RoI 特征；
Bilinear pooling：双线性池化；
Noise RoI features：噪声 Rol 特征；
预测边界框（表示为‘bbx pred’）是 RGB Rol 特征中生成的。为了区别被篡改和未被篡改的区域，我们利用从 RGB 通道中提取的特征来捕捉线索，例如：被篡改边界视觉上的不一致，被篡改区域和真实区域间的对比效应等。
在完成 Rol 池化后，网络的线性池化层将整合从 RGB 流和噪声流中分别提取的空间共现特征。
最后，将所得结果输入到一个全连接层和一个 softmax 层，网络生成预测标签（表示为‘cls pred’)）并确定预测边界是否经过处理。
RGB流模拟视觉篡改伪像，例如沿对象边缘的异常高对比度，并用bounding box回归到实际情况。噪声流首先通过将输入RGB图像传递通过SRM滤波器层来获得噪声特征图，并利用噪声特征来为操纵分类提供额外的证据。 RGB和噪声流共享来自RPN网络的相同区域提议，其仅使用RGB特征作为输入。 RoI池层从RGB和噪声流中选择空间特征。预测的边界框（表示为’bbx pred’）是从RGB RoI特征生成的。在RoI池之后的双线性池化层使网络能够组合来自两个流的空间共现特征。最后，通过完全连接的层和softmax层传递结果，网络产生预测的标签（表示为’cls pred’）并确定预测区域是否已被操纵。

def bbox_transform_inv(boxes, deltas):
    if boxes.shape[0] == 0:
        return np.zeros((0, deltas.shape[1]), dtype=deltas.dtype)

    boxes = boxes.astype(deltas.dtype, copy=False)
    widths = boxes[:, 2] - boxes[:, 0] + 1.0
    heights = boxes[:, 3] - boxes[:, 1] + 1.0
    ctr_x = boxes