Image splicing detection using mask-RCNN

Signal, Image and Video Processing (2020) 14:1035–1042
https://doi.org/10.1007/s11760-020-01636-0

据传第一张篡改图像

虽然数字成像提供了许多创造的可能性，但它也可以用来制作伪造的文件。图像篡改几乎和摄影技术本身一样古老，早在1865年，当时摄影师马修·布雷迪将弗朗西斯·p·布莱尔将军添加到一张原始照片中，让他似乎在场。

数据生成法

理想的篡改检测数据集 ： 足够大的数据集 包含不同类型
现有的公开数据集并不能满足足够条件点名批评Columbia

使用coco数据集生成大量的splicing图像
这个就比大多数拿现成的篡改数据集训练模型的论文要优秀的多了。

12万张篡改图像。
This dataset consists of 80 classes, 80,000 training images, and 40,000 validation

数据增广法

对伪造的图像可以进行后处理，以更改因伪造过程而产生的任何伪影。为了创建一个能够检测后处理图像中伪造的稳健模型，在计算机生成的数据集上使用了图像增强技术。这些技术包括旋转、位移、剪切和缩放。在旋转过程中，图像以在0◦到360◦之间随机选择的角度进行旋转。在位移过程中，对图像应用空间位移，宽度和高度位移随机选择在0到0.4之间。移动图像后，将其裁剪到原始尺寸。剪切利用40◦和−40◦之间的随机转换强度来创建一个剪切矩阵。然后，使用仿射变换将该矩阵应用于图像，导致图像的上部向右移动，下部向左移动。在缩放过程中，通过从图像范围[1,10]的宽度和高度中随机选择两个缩放值，对图像应用缩放。这些值用于创建缩放矩阵，并使用仿射变换应用于图像。缩放后，图像被裁剪到其原始尺寸。在训练过程中，四种增强技术应用于图像的概率为0.50。因此，图像没有增强或所有四种技术应用的概率为0.0425。添加增强的图像扩展了图像数据集，提高了泛化能力，并有助于防止过拟合。

模型初始化

一直觉得模型初始化设置什么正态分布的模型参数的是一种迷信。

模型

模型部分说的很抽象。

region proposal network (RPN)
获得
regions of interest (RoI)
进行
RoI pooling
获得重要特征
特征插值？ 到同样大小