RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection

论文地址
参考文章

文章结构梳理

Abstract

英语积累

• residual a.残差的
• splice v.拼接
• forgery n.伪造
• convolutional a.卷积的 +neural network CNN
• attribute c.n.属性，特性
• preprocess 预处理
• post-process 后处理
• consolidation n.巩固
• mechanism n.机制
• implement v.实施
• propagation n.传播
• gradient n.梯度
• degradation n. 退化
• state-of-the-art a. 最先进的；已经发展的；达到最高水准的

作为文章的核心和整体思路描述，重点逐句分析。

Detecting a splicing forgery image and then locating the forgery regions is a challenging task.
第一句介绍背景

Some traditional feature extraction methods and convolutional neural network (CNN)-based detection methods have been proposed to finish this task by exploring the differences of image attributes between the un-tampered and tampered regions in a image.
第二句提出传统方法

However, the performance of the existing detection methods is unsatisfactory.
第三句提出传统方法不理想

In this paper, we propose a ringed residual U-Net (RRU-Net) for image splicing forgery detection.
第四句引入本文的核心RUU-Net

The proposed RRU-Net is an end-to-end image essence attribute segmentation network, which is independent of human visual system, it can accomplish the forgery detection without any preprocessing and post-processing.
第五句说出RUU-Net的好处：它是一种端到端图像本质属性分割网络，可以在不进行任何预处理和后处理的情况下实现伪造监测

The core idea of the proposed RRU-Net is to strengthen the learning way of CNN, which is inspired by the recall and the consolidation mechanism of the human brain and implemented by the propagation and the feedback process of the residual in CNN.
第六句说明RUU-Net的核心思想：受人脑回忆和巩固机制的启发，提出了RRU-Net残差传播和反馈的过程加强CNN学习方式

The residual propagation recalls the input feature information to solve the gradient degradation problem in the deeper network; the residual feedback consolidates the input feature information to make the differences of image attributes between the un-tampered and tampered regions be more obvious.
第七句是残差传播和残差反馈的作用

Experimental results show that the proposed detection method can achieve a promising result compared with the state-of-the-art splicing forgery detection methods.
第八句表明结果取得更好效果

1. Introduction

介绍背景和例子

引入基于特征提取的两种特征监测方法：
传统方法和卷积神经网络

先介绍传统方法
传统方法分为四类：

• 基于图像本质属性的检测方法detection methods based on the image essence attribute
• 基于成像设备属性的检测方法 detection methods based on the imaging device attribute
• 基于图像压缩属性的检测方法 detection methods based on the image compression attribute
• 基于哈希技术的检测方法 detection methods based on the hash techniques

找出传统方法的不足之处
传统方法出现以下情况会导致失败（分别对应上面四类的现实任务中的限制）

• 拼接伪造后进行隐藏（如整体模糊）
• 图像的设备噪声强度弱
• 只能检测JPEG形式的图像
• 依赖原始未篡改图像的哈希值

传统的基于CNN特征提取方法的发展史
CNN取得了好的成果
CNN被引入到图像拼接伪造监测，最开始只能用来判断图像是否被篡改，但是不能定位篡改区域
为了能定位篡改区域进行了一系列前人的尝试，都以失败告终
只能由一些正方形的白色的块组成的粗糙区域显示—>采用不重叠的图像作为CNN输入—>
问题：如果一个图像块完全来自篡改区域会被识别成未篡改—>解决方法：增大图像块大小—>问题：如果篡改图像很小，容易失败

（本文动机）现有的基于CNN的检测方法缺点：
由于使用图像块作为输入，导致上下文空间信息缺失，导致预测错误
当网络结构变深，出现梯度退化问题，特征识别难，导致拼接伪造监测难甚至失败

为了解决上述问题，引入文章核心–环形差U-Net(RRU-Net)
RRU-Net是端到端的的图像本质属性分割网络，独立于人类视觉系统，无需预处理和后处理就能直接定位到伪造区域。

RRU-Net的优点（正对现有CNN检测方法的缺点）：
RRU-Net可以更好地利用图像中上下文空间信息，有效减少错误预测
RRU-Net加强CNN学习方式，同时防止更深层次的梯度退化问题，在网络层提取特征的同时保证图像本质属性特征的识别更明显

2. Related Work

U-Net

通过收缩路径contraction path(successive layers)获取上下信息，对输入特征进行上采样，然后通过对称扩展路径与传播对高分辨率特征相结合，减少了细节信息的丢失，实现精准定位
定位
被篡改区域的唯一方法就是图像本质属性的差异，可以通过提取具有坚定性的特征来发现这些差异。

U-Net的局限性：
U-Net结构的只有两层之间相互作用，这不足以确定篡改的区域。
此外，网络结构越深入，会出现梯度退化问题。

Res-Net

针对深度网络中的梯度退化问题，提出残差映射方法
定义如下
$y=F(x)+x$（1）
x：输入
y：输出
对于拼接伪造监测，梯度退化还会引起：在直接的多层结构中，图像本质属性特征的识别会变弱，这会使图像本质属性的差异更难被发现。

结语：为了解决梯度退化问题，同时加强CNN的学习方式，应该更有效的利用残差映射。
引入第三块（核心块）–RRU-Net

3. The Ringed Residual U-Net(RRU-Net)

3.1. Residual Propagation（残差传播）

为解决梯度退化问题，在每个堆叠层添加残差传播

由两个卷积层和残差传播组成构成快的输入定义为：
$y_f=F(x,W_i)+W_s\times x$。 （2）
x：输入
$y_f$：输出
$W_i$：函数i层的权值
F(x,{$W_i$})：待学习的残差映射
残差传播(residual propagation)类似人脑的回忆机制(recall machanism)。当我们学习更多新知识时，我们可能忘记之前的知识，所以需要回忆机制来帮我们唤起那些模糊的记忆

3.2. Residual Feedback(残差反馈)

作者认为如果将篡改区域和非篡改区域之间的差异进一步放大，有利于拼接检测
在RGN-N文中，zhou使用SRM滤波器层增强检测结果
但SRM缺点：
SRM滤波器是人工选择的方法，只能用于GRB图像伪造监测
当被篡改区域和未篡改区域来源于同一品牌(brand)和型号(model)的相机时，由于它们具有相同的噪声属性(noise)SRM filter的有效性会聚集降低

为了解决SRM的缺点，引入残差反馈Residual Feedback，这是一种自动学习的方法，而不是只关注一个或几个特点的图像属性

又将attention mechanism(注意机制)添加到residual feedback(残差反馈)中，更加关注输入信息的鉴别特征
在注意机制中，选择使用简单的gating mechanism（门控机制）和一个sigmoid激活函数来学习鉴别特征通道之间的非线性相互作用，避免特征信息的扩散，然后将sigmoid激活得到的响应值叠加在输入信息上，来放大未篡改区域和篡改区域的图像本质属性差异 ，如下图

定义为:
$y_b=(s(G(y_f))+1)\times x$
x：输入
$y_f$：上一步残差传播（2）公式的输出
$y_b$：增强的输出
G：一个线性映射，用来改变$y_f$的维数
s：sigmoid形激活函数

残差反馈可以放大输入中未被篡改区域和被篡改区域的图像本质差异，如下图（c）

通过残差反馈讲被篡改区域“鹰”放大到全局最大响应值。
此外还有两个深远影响：
1. 区别性特征的强化同时也可以看作是对消极标签特征的压制
2. 网络在训练过程中的收敛速度更快

3.3. Ringed Residual Structure and Network Architectures

结合残差传播和残差反馈的环形残差结构如图

残差传播就像人脑的回忆机制，通过回忆输入的特征信息来解决更深网络中的退化问题。
残差反馈对输入特征信息进行整合，放大未篡改区域和篡改区域的图像本质属性差异。

综上，在网络层间提取特征时，环形残差结构保证了图像本质属性特征的识别更明显，相比于传统的基于特征提取的检测方法和现有的基于CNN的检测方法，可以实现更好、更稳定点检测性能

RRU-Net的网络结构图如下：

它是一种端到端图像本质属性分割网络，可以直接检测拼接伪造，无需任何预处理和后处理

4. Evaluation Experiment and Comparative Analysis

实验数据集：
CASIA：物体，体积小做工精细
COLUMB：简单的、大的、无意义的区域
训练集和验证集的图像大小调整为384x256，然后通过随机高斯噪声(random Gaussian noise)、JPEG压缩(JPEG compression)和随机翻转(random overturn)等方法进行数据增强，使两个数据集的容量提高了四倍。

实验数据表格如下：
CASIA：训练集715，验证集35，测试集100
COLUMB：训练集125，验证集10，测试集44
扩增拼接是将扩增数据集（2860张）和普通拼接数据集（715张）结合，为了比较和分析图像拼接伪造检测方法的鲁棒性，对伪造数据集采呀JPEG压缩和噪声破坏来生成各种攻击案例。

• JPEG压缩：拼接伪造图像创建完成后，将拼接伪造图像保留在不同压缩质量因子的JPEG格式
• 噪声破坏：拼接伪造图像创建完成后，会在拼接伪造图像中加入均值为0、方差不同的高斯白噪声

评价指标：
TP（正确检测到的篡改像素）的数量
FP（错误检测到的篡改像素）数量
FN（错误检测到的未篡改像素）的数量

使用Precision、Recall、F-measure来评估拼接伪造检测方法在像素级的性能。

• 精度定义：$Precision=\frac{TP}{TP+FP}$
  表示在地面真实图像中检测区域为真正被篡改区域的概率
• $召回率Recall=\frac{TP}{TP+FN}$
  表示在地面真实图像中被篡改区域被正确检测到的概率
• F-measure将Precision和Recall结合为一个度量来综合评价检测方法的性能
  $F-measure=\frac{2\times Precision\times Recall}{Precision+Recall}$

为了比较本文提出的RUU-Net的性能，我们选择了三种传统的基于特征提取的检测方法，基于CNN的检测方法和两种语义分割方法，分别是DCT，CFA，NOI，DFNet，C2R-Net，FCN，DeepLab v3

实验细节：
计算机上运行Xeon E5-2603 v4 CPU and NVIDIA GTX TITAN X GPU.
U-Net, RU-Net, RRU-Net 由PyTorch实现

4.1. Decrtion at Pixel Level

4.1.1. Detection Results under Plain Splicing Forgery

本文提出的RRU-Net和其他比较检测方法在普通拼接伪造情况下进行评估的四个例子的检测结果如下

Pixel level（在像素水平上的检测结果）

数据分析得出：RRU-Net各项指标最好

4.1.2. Dectection Results under Various Attacks

JPEG压缩攻击下的实验结果
a1-a3 CASIA
b1-b3 COLUMB
RRU-Net的检测结果优于其他检测方法，具有较高的鲁棒性。

噪声腐蚀攻击下的实验结果
a1-a3 CASIA
b1-b3 COLUMB
上不同方差（随时分布均值为0）下噪声破坏的实验结果
RRU-Net对两个数据集的噪声破坏攻击下表现出了较好的稳定性能。

4.2. Detection at Image Level

Image level（在图像水平上的检测结果）
RRU-Net的检测精度优于其他9种检测方法，RRU-Net不仅可以在拼接伪造图片中定位篡改区域，还可以判断图像是否被篡改

5. 总结与展望

总结：
提出一种用于图像拼接伪造监测的环残差U-Net(RRU-Net),它是一种端到端图像本质属性分割网络，可以在不进行任何预处理和后处理的情况下实现伪造监测。
受人脑回忆和巩固机制的启发，提出了RRU-Net残差传播和反馈的过程加强CNN学习方式
从理论分析和实践数据结论证明了在RRU-Net中环形残差结构的有效性
展望：
将进一步探索和可视化篡改区域和未篡改区域之间的潜在鉴别特征，以解释在未来的工作中图像拼接伪造检测的关键问题。