【图像篡改 ECCV2018】Fighting Fake News: Image Splice Detection via Learned Self-Consistency

self consistency

1 abstract

利用图片本身的EXIF信息，训练一个模型判断图片是否是自一致性的，即判断图片的每一个部分是否都是由一个图像处理pipeline产生的。

2 introduction

传统的监督学习方法在ps检测上效果不好，篡改图片的空间很大很多样，不可能有足够的训练数据来训练一个有监督学习的方法。

可以从异常检测的思路出发，判断图片是不正常的即可

EXIF信息是照相机独有的，在图片成像的时候被嵌入到图片中，包含成像设备、焦距、JPEG质量等等。

本文利用EXIF元数据作为监督信号，训练一个模型判断一张图是否是自一致性的。

这个方法是自监督的，只有真实图像和它的EXIF信息被用来训练。

三点贡献：

• 将篡改图片识别转换为一个异常检测问题，检测自一致性

• 利用了图片的元数据

• 利用学习的自一致性模型定位篡改的位置，实验评估了哪些图片元数据更predictable

3 related work

属于异常检测的范畴，但不是检测语义上的不一致

4 学习图片的自一致性

判断两个patch在n个元数据属性上的一致性，然后汇总得到一个总的一致性score，socre越低代表越不一致，很可能是来自两个图片

4.1 predicting EXIF attribute consistency