Image Splicing Localization via Semi-Global Network and Fully Connected Conditional Random Fields.

第一次分享我阅读的论文，以前总是看别人的，我觉得积累的可以了，所以分享一下我的阅读思路。
本篇论文是发表在ECCV workshop的论文，方向是识别图像篡改及定位，

（摘要）
简单说就是利用从patch中学到的信息和图像整体学习的信息进行比对。

本文主要解决图像拼接定位问题，给定一个输入图片，定位到拼接区域，这个拼接区域是从另一个图片中裁剪来的，我们把formulate这个作为一个分类任务，但是严格来讲，并不是通过局部的patch进行分类区域，我们利用整幅图像和局部patch特征对局部patch进行分类，我们管这个结构叫做semi-global网络，我们的方法利用了这样一个观察结果，即拼接区域不仅应该与局部特征(拼接边缘)高度相关，而且还应该与全局特征(语义信息、光照等)高度相关。更重要的是，我们首先将全连接条件随机场区域作为后处理技术，提高了输入图像和网络输出图像的一致性。

主要贡献：
通过考虑图像拼接任务的前提是整体特征和局部特征的结合，我们提出了一个semi-global网络去解决这个问题，除了基于分类的整体特征和局部特征的结合之外，我们首先增加了全连接条件随机场作为后处理技术在图像拼接技术中。在损失函数中我们为了在基于patch分类和基于patch分割的任务中和谐添加了一个smooth term。

patch网络
在基于patch分类中，首先，一个64x64的patch被送进了两个卷积层用于提取一个2D的低水平的特征图，然后这个特征图被一致分成了8x8的Block，每个block都有8x8的Pixels。每一个Block作为长短期记忆网络的输入，长短期记忆网络为patch中pixel之间建立关系，同时没有减少特征图的大小，因为低维特征对于粗糙的边缘检测来说是很重要的，接下来，lstm的输出不仅被用于图像分类，也用于重建成2D特征图，得到的特征图被用于最后的分割任务，lstm网络的输出被变形成根据我们分割的block原图，然后两个卷积层对重构后的特征图进行建模，得到最终的分割结果。
softmax层被添加在网络的最后，它被用于分割预测和分类，这个模型本质上可以从pacth中提取像素级特征，而传统的由粗糙到精炼的网络结构会打破像素之间的关系

global网络
是否我们全局特征网络的目标是从输入图像中去提取全局特征（例如灯光，语义信息），我们插值（interpolate）预训练的图像分类网络在大量可获取的数据集上用于全局特征的提取。对于整个特征提取，我们采用了ResNet18网络结构，并在ImageNet上进行预训练。在我们的任务中，我们用一个新的256维度全连接层替代了原来的全连接层。这个新层能够自动的从resnet18中学到我们所需要的全局特征，通过训练数据的反向传播。我们也冻结所有的在卷积层中和BN层的权重在ResNet18中，因为相比较imagenet，我们的数据集太小对于整体的特征提取，因此通过利用从imagenet中学习到的权重，我们的网络有能力去从小型数据集中学习。注意到全局特征只和图像patch分类中的特征相关，因为patch分割的特征和pixel的位置是高度相关的，所以我们不能够把全局特征增加到分割网络作为分类分支。然而，因为我们同步训练网络，所以特征concatenation 在patch分类中对于分类任务的结果有益。

图像的网络结构

代码中看，作者将patch网络后半部分的三次卷积和一次池化划分为图像的分割网络，而其余的部分作为分类网络。



网络的损失函数，就是交叉熵没啥说的
增加的这个smooth函数是为了平衡分割网络和分类网络，因为希望得到的label和patch的预测相等，所以也可以看作是这两个的误差。

实验结果表明该网络还不错。
顺便一提w/o是without的意思，添加的全连接条件随机场效果不错。