文章亮点
只使用真实图片训练visual manipulated图片的detector
算法效用
detect and localize image manipulations
论文及github地址
Method部分阅读笔记
3 Learning Photographic Self-consistency
给定两个patches,对n个EXIF元数据属性(metadata attribute)分别计算取值相同的概率x1到xn,然后根据x1到xn计算overall consistency。测试图片时,manipulated图像中取不同的patches,如果计算得到低的consistency,说明两个patches来自不同的图像,即图像是拼接得到的。
3.1 Predicting EXIF Attribute Consistency
使用孪生神经网络(Siamese network)检测两个128*128的patches(可能从不同的图像中获取)是否共享EXIF metadata attributes。其中选了n=80个attributes。Siamese network使用权值共享的resnet,产生4096维向量。向量经连接后送入四层的MLP(multi layer perceitron多层感知机),最后是输出层