RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection

论文地址
参考文章

文章结构梳理

Abstract

英语积累

• residual a.残差的
• splice v.拼接
• forgery n.伪造
• convolutional a.卷积的 +neural network CNN
• attribute c.n.属性，特性
• preprocess 预处理
• post-process 后处理
• consolidation n.巩固
• mechanism n.机制
• implement v.实施
• propagation n.传播
• gradient n.梯度
• degradation n. 退化
• state-of-the-art a. 最先进的；已经发展的；达到最高水准的

作为文章的核心和整体思路描述，重点逐句分析。

Detecting a splicing forgery image and then locating the forgery regions is a challenging task.
第一句介绍背景

Some traditional feature extraction methods and convolutional neural network (CNN)-based detection methods have been proposed to finish this task by exploring the differences of image attributes between the un-tampered and tampered regions in a image.
第二句提出传统方法

However, the performance of the existing detection methods is unsatisfactory.
第三句提出传统方法不理想

In this paper, we propose a ringed residual U-Net (RRU-Net) for image splicing forgery detection.
第四句引入本文的核心RUU-Net

The proposed RRU-Net is an end-to-end image essence attribute segmentation network, which is independent of human visual system, it can accomplish the forgery detection without any preprocessing and post-processing.
第五句说出RUU-Net的好处：它是一种端到端图像本质属性分割网络，可以在不进行任何预处理和后处理的情况下实现伪造监测

The core idea of the proposed RRU-Net is to strengthen the learning way of CNN, which is inspired by the recall and the consolidation mechanism of the human brain and implemented by the propagation and the feedback process of the residual in CNN.
第六句说明RUU-Net的核心思想：受人脑回忆和巩固机制的启发，提出了RRU-Net残差传播和反馈的过程加强CNN学习方式

The residual propagation recalls the input feature information to solve the gradient degradation problem in the deeper network; the residual feedback consolidates the input feature information to make the differences of image attributes between the un-tampered and tampered regions be more obvious.
第七句是残差传播和残差反馈的作用

Experimental results show that the proposed detection method can achieve a promising result compared with the state-of-the-art splicing forgery detection methods.
第八句表明结果取得更好效果

1. Introduction

介绍背景和例子

引入基于特征提取的两种特征监测方法：
传统方法和卷积神经网络

先介绍传统方法
传统方法分为四类：

• 基于图像本质属性的检测方法detection methods based on the image essence attribute
• 基于成像设备属性的检测方法 detection methods based on the imaging device attribute
• 基于图像压缩属性的检测方法 detection methods based on the image compression attribute
• 基于哈希技术的检测方法 detection methods based on the hash techniques

找出传统方法的不足之处
传统方法出现以下情况会导致失败（分别对应上面四类的现实任务中的限制）

• 拼接伪造后进行隐藏（如整体模糊）
• 图像的设备噪声强度弱
• 只能检测JPEG形式的图像
• 依赖原始未篡改图像的哈希值

传统的基于CNN特征提取方法的发展史
CNN取得了好的成果
CNN被引入到图像拼接伪造监测，最开始只能用来判断图像是否被篡改，但是不能定位篡改区域
为了能定位篡改区域进行了一系列前人的尝试，都以失败告终
只能由一些正方形的白色的块组成的粗糙区域显示—>采用不重叠的图像作为CNN输入—>
问题：如果一个图像块完全来自篡改区域会被识别成未篡改—>解决方法：增大图像块大小—>问题：如果篡改图像很小，容易失败

（本文动机）现有的基于CNN的检测方法缺点：
由于使用图像块作为输入，导致上下文空间信息缺失，导致预测错误
当网络结构变深，出现梯度退化问题，特征识别难，导致拼接伪造监测难甚至失败

为了解决上述问题，引入文章核心–环形差U-Net(RRU-Net)
RRU-Net是端到端的的图像本质属性分割网络，独立于人类视觉系统，无需预处理和后处理就能直接定位到伪造区域。

RRU-Net的优点（正对现有CNN检测方法的缺点）：
RRU-Net可以更好地利用图像中上下文空间信息，有效减少错误预测
RRU-Net加强CNN学习方式，同时防止更深层次的梯度退化问题，在网络层提取特征的同时保证图像本质属性特征的识别更明显

2. Related Work

U-Net

通过收缩路径contraction path(successive layers)获取上下信息，对输入特征进行上采样，然后通过对称扩展路径与传播对高分辨率特征相结合，减少了细节信息的丢失，实现精准定位
定位
被篡改区域的唯一方法就是图像本质属性的差异，可以通过提取具有坚定性的特征来发现这些差异。

U-Net的局限性：
U-Net结构的只有两层之间相互作用，这不足以确定篡改的区域。
此外，网络结构越深入，会出现梯度退化问题。

Res-Net

针对深度网络中的梯度退化问题，提出残差映射方法
定义如下
$y=F(x)+x$（1）
x：输入
y：输出
对于拼接伪造监测，梯度退化还会引起：在直接的多层结构中，图像本质属性特征的识别会变弱，这会使图像本质属性的差异更难被发现。

结语：为了解决梯度退化问题，同时加强CNN的学习方式，应该更有效的利用残差映射。
引入第三块（核心块）–RRU-Net

3. The Ringed Residual U-Net(RRU-Net)

3.1. Residual Propagation（残差传播）

为解决梯度退化问题，在每个堆叠层添加残差传播

由两个卷积层和残差传播组成构成快的输入定义为：
$y^{}$