A Skip Connection Architecture for Localization of Image Manipulations

A Skip Connection Architecture for Localization of Image Manipulations

cvpr2019

输入的图像固定为256 * 256 * 3
分为8*8个batch ,每个batch 不重叠，每个batch 为16 * 16 的分辨率
下方的信息流为LSTM 部分，输入为batch。上方信息流直接进行卷积运算，输入为完整的图像 256 * 256 。

跳跃连接

三种不同的跳跃连接，通过实验挑选对于此问题最优的跳跃连接


这是使用无论图中的那个skip比较好的意思。

LSTM

图像输入LSTM 。
先对图像进行二维转一维的转换，依据希尔伯特曲线。
依据分形理论，希尔伯特曲线可以历遍整个图像。
图像分为64个batch ，batch 按照希尔伯特曲线排列，输入2 层LSTM网络。

希尔伯特曲线

希尔伯特曲线 的顺序 可以使LSTM得网络有效利用空间局部性。
希尔伯特曲线 可以将二维图像转为1维。 由于是分形图形，所以无论放大多少倍，块之间的相对关系都是不变的。

似乎是所谓的“直线有面积吗”的问题 这样看起来是有面积的
还有个叫做分形维度的东西

此处3阶希尔伯特曲线大小刚刚好是8*8。大块和小块之间的相对位置关系是不变的。

Train

datasets

结果