《LEARNED FORENSIC SOURCE SIMILARITY FOR UNKNOWN CAMERA MODELS》论文读后总结

LEARNED FORENSIC SOURCE SIMILARITY FOR UNKNOWN CAMERA MODELS

简介

这篇文章可以说是（Tampering Detection and Localization through Clusteringof Camera-Based CNN Features）的改进，在原文章对于未知相机模型的识别略有劣势，文章作者在提取patch块的基础上使用Siamese network进一步对比两个输入特征向量的区别以确定两个patch块是否来自同一相机模型。

系统实现概述

实现对于不同相机模型来源的检测大致可以分为三个步骤，如下：

• 1、通过训练好的CNN网络A将256x256的图片输入提取高维特征得到一个包含200个元素的特征向量f(x)。
• 2、提出了一个相似性度量，使用了CNN网络B将两个输入的特征向量映射到一个[0,1]区间的值，输出0表示两个patch的源相机模型不同，1表示相同。$$C(X_1,X_2)=\{\begin{array}{l}0,X_1,X_2属于不同相机模型\\ 1,X_1,X_2属于相同相机模型\end{array}$$
• 3、通过得到的这个相似度量c与给定的阈值$\eta$进行比较，大于给定阈值则说明二者来自同一相机模型。

一、特征提取

使用一个多层的卷积神经网络对划分的patch块进行特征提取，使用CNN结构大致如下：输入层是256x256大小的patch块，首先是一个约束卷积层，接下来是四个卷积层，卷积层结构（卷积层、批量归一化、双曲正切激活函数和最大值池化四个步骤组成），接下来是两个全连接层，每个全连接层200个具有双曲正切激活的神经元，最后使用一个带有|A|个神经元和softmax的全连接层来识别相机模型，在后面进行对比时使用的特征向量则是由softmax前的全连接层的输出得到的。特征向量f(x)是一个有200个元素的向量。
上述网络每个层的具体卷积核大小等，作者在文中并没有具体叙述，可以参考简介里面的文章。

二、相似度计算

相似度计算是通过CNN网络B解决的，网络结构大致如下：将一对特征向量连接到网络的两个输入层，输入层都包含1024个具有参数化的ReLU激活函数的神经元，其中两个接受特征向量的输入层共享权重参数。
之后两个输入层完全连接到单个神经元层，该层有64个ReLU激活函数的神经元，最后输出一个[0,1]的预估值。
在网络B的训练中使用二元交叉熵损失的迭代反向传播，在输入层的两个层的输出上使用了50%的dropout防止过拟合。

值得一提的注意项：

• 网络A和网络B的训练使用了互不交叉的相机模型训练集以使得网络对于未知相机模型也有一定的鲁棒性
• 对于patch块的使用，定义了一个熵值，只有熵值高于给定阈值的patch块才会被使用到网络B中的训练，熵值h$=-{\sum }_{k=0}^{255}{p}_{k}ln(p_k)$
• 网络A的超参数设置：epoch=30，学习率α=0.001，每3个epoch下降两倍，衰减为0.0005，动量β=0.9，使用Caffe对网络A进行训练
• 网络B的超参数设置：epoch=60，学习率α=0.0005，${\beta }_1$=0.9，${\beta }_2$=0.99，$\sigma$=$10^{-6}$，使用Keras和Tensorflow进行训练

总结

整体对于不同源相机模型的识别的最高识别率达到了95.8%，即便是在最极端的情况下（即两个patch块都来自未知相机模型的情况）准确率依然有84%。当可以一幅图的不同相机模型进行检测时也就可以对图像拼接进行定位了，作者采用的思路简要：随机选择一个补丁作为参考，计算与其他补丁的比较得分，突出显示被检测到的补丁。