论文阅读(1): Fighting Fake News: Image Splice Detection via Learned Self-Consistency

文章亮点

只使用真实图片训练visual manipulated图片的detector

算法效用

detect and localize image manipulations

论文及github地址

论文主页
github

Method部分阅读笔记

3 Learning Photographic Self-consistency

给定两个patches，对n个EXIF元数据属性（metadata attribute）分别计算取值相同的概率x1到xn，然后根据x1到xn计算overall consistency。测试图片时，manipulated图像中取不同的patches，如果计算得到低的consistency，说明两个patches来自不同的图像，即图像是拼接得到的。

3.1 Predicting EXIF Attribute Consistency

使用孪生神经网络（Siamese network）检测两个128*128的patches（可能从不同的图像中获取）是否共享EXIF metadata attributes。其中选了n=80个attributes。Siamese network使用权值共享的resnet，产生4096维向量。向量经连接后送入四层的MLP（multi layer perceitron多层感知机），最后是输出层