A New Approach Towards General Purpose Image Manipulation Detection论文笔记

1、解决的问题:

图像操作通常会留下图像编辑类型所特有的痕迹,分析不同图像操作的痕迹,图像取证,检测图像篡改。

2、现有检测方法:

调整大小和重采样、中值滤波、对比度增强、多JPEG压缩等,但是这些检测的都是单个目标操作,还要融合多个取证检测的结果,并且为不同的图像操作创建取证检测器是一个困难和耗时的过程。

3、constrained CNN

普通的cnn网络倾向于学习图像的内容,而不适合学习与内容无关的篡改痕迹,所以提出了一种constrained CNN的方法,让其来学习低级的操作特征。
3.1、做法:
用constrained CNN提取预测残差特征(因为预测残差很大程度上不包含图像内容,因为残差就是篡改痕迹),把constrained CNN放到CNN开始处,然后从这些残差中形成更高层次的特征。这将抑制图像的内容,并自适应地学习最适合检测取证痕迹的低级残差特征;更高层次的取证特征是从深层CNN的残差中学习得到的。
3.2、损失函数:
在这里插入图片描述
其中yi *(k)和yi(k)分别是第k类第i个图像的真实标签和网络输出,输出层中有m个训练图像和c个神经元(CrossEntropy)

3.3、残差滤波器:
在这里插入图片描述
在这里插入图片描述

(1)表示cnn的第1层,k表示每一层有k个滤波器,每次迭代过程中,先将滤波器的中心置为-1,再将其余部分归一化总和为1(当前位置权重除以除中心位置权重之和)
在这里插入图片描述
随机初始化权重
前向传播
随机梯度下降和反向传播误差更新滤波器权值
把第一层的K个滤波器的wk(0,0)置0
归一化除了滤波器中心外其余的权值,和为1
将所有第一层的K个过滤器的wk(0,0)=−1

残差:
残差:
在这里插入图片描述
残差滤波器:
在这里插入图片描述
即残差滤波器相当于上述公式中的r,我们要找到一种关系f(I)与I,那我们设f(I)=~Wk,即
在这里插入图片描述
设I为一个冲激滤波器σ,形式是中心为1,其余位置为0,则Wk=~Wk-σ,
则通过约束后的输出为:
在这里插入图片描述

4、网络结构:

在这里插入图片描述
输入一个256*256的灰度图
(1)残差提取层:第一层学习低级的操作特征,这些特征很容易被非线性操作破坏,如池和激活层,因此,该块的输出直接传递到常规卷积层。
(2)层次特征提取:学习更高层次的残差特征,用一组连续的卷积层,每个卷积层随后是批处理规范化、激活函数和池化层。
(3)跨特征学习:使用1×1卷积层,使constraint CNN仅学习特征映射之间的关联,保持feature map 尺寸不变(即不损失分辨率)的前提下大幅增加非线性特性,把网络做得很deep
(4)分类:三层全连接层,前两个全连接层包含200个神经元,最后通过softmax分成6类。(实验分别比较了softmax,和两个FC+极度随机树ET)

5、实验

5.1、单操作检测
50000张图片作为训练集,60个epoch,batch size=64,动量 = 0.95, 衰减率 = 0.0005, 学习率 = 0.001,每6个epoch减少0.5倍,ET分类器通过改变树的数目从100到600;10000作为测试集。
在这里插入图片描述

5.2、多重操作检测
10w张图片作为训练集,60个epoch,batch size=64,动量 = 0.95, 衰减率 = 0.0005, 学习率 = 0.001,每6个epoch减少0.5倍,ET选用700棵树;32000图片作为测试集。
在这里插入图片描述

5.3、任意多操作检测
在这里插入图片描述

5.4、与基于SRM方法的比较
在这里插入图片描述
在这里插入图片描述

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值