A New Benchmark and Model for Challenging Image Manipulation Detection

AAAI' 2024

paper: https://arxiv.org/pdf/2311.14218.pdf

code: https://github.com/ZhenfeiZ/CIMD/

Abstract

在数字取证中，检测多媒体数据操作的能力是至关重要的。现有的图像处理检测方法主要基于对图像编辑或双重压缩伪影产生的异常特征的检测。当涉及到从大图像中检测小篡改区域时，所有现有的IMD技术都遇到了挑战。此外，基于压缩的IMD方法在相同质量因子的双重压缩情况下面临困难。为了在这些具有挑战性的条件下研究最先进的(SoTA) IMD方法，我们引入了一个新的具有挑战性的图像处理检测(CIMD)基准数据集，该数据集由两个子集组成，分别用于评估基于编辑和基于压缩的IMD方法。数据集图像是手工拍摄的，并用高质量的注释进行了篡改。此外，我们提出了一种新的基于HRNet的双分支网络模型，可以更好地检测这些具有挑战性的条件下的图像编辑和压缩伪影。在CIMD基准上的大量实验表明，我们的模型在CIMD上的性能明显优于SoTA IMD方法。

Introduction

随着图像编辑和人工智能内容生成的进步，图像编辑、篡改和内容合成变得越来越普遍。然而，滥用这些技术会带来严重的安全和社会影响，包括错误信息、虚假信息和深度伪造(Hu等2021;Tolosana et al 2020)。能够准确检测图像处理区域的图像处理检测方法在媒体取证中非常重要。

一般有三种类型的图像处理操作:(1)区域拼接，将一张图像中的内容复制并粘贴到另一张图像上;(2)区域复制，将图像区域移动到同一图像中的另一个位置;(3)区域移除，删除图像的部分内容并合成新的内容。为了准确检测这些操作，一些方法依赖于检测异常图像区域或纹理特征，而另一些方法依赖于识别双重压缩伪影。尽管最先进的(SoTA) IMD方法在主流公共IMD数据集上表现良好，但它们仍然面临着如图1所示的两个挑战。首先，现有的IMD方法在检测相对较小的篡改区域时普遍存在困难，这是由于在有限的视觉信息下数据驱动的设计。其次，当压缩质量因子(QF)保持不变时，使用两种不同量化矩阵检测双压缩不一致性的方法会失效。这是因为使用相同的Q matrix会显著地抑制双重压缩伪影。如图3所示，该类方法通过识别两次压缩过程中产生的缺失直方图值来检测篡改区域。当使用相同的QF时，直方图的变化非常小，很难检测到双重压缩。总之，随着图像篡改技术的快速发展，取证问题通常定义不清，IMD方法在具有挑战性的案件研究中普遍落后。

为了解决问题和挑战，我们提出了一个新的双分支IMD网络，同时包含RGB和频率流，这样就可以在一个框架中检测到异常特征和压缩伪影。我们的网络采用HRNet (Wang et al 2020)作为特征提取器，并在如图2所示的四个不同尺度上进行并行处理。为了更精确地找出微小的篡改区域，我们通过应用空洞空间卷积池化金字塔(ASPP)(Chen et al . 2017;Y ang et al . 2021)和注意机制(V aswani et al 2017;Hu, Shen, and Sun 2018)仔细设计了模型。对于频率流，我们向主干输入量化的DCT系数、Q matrix和来自多次再压缩的新的残差DCT系数，以检测双重压缩伪影。无论QF的不同或相同，这种设计都可以工作。为了提高所提出的两分支模型的性能，我们在最后引入了自适应加权热图聚合设计，使用软选择来融合两个分支生成的热图。我们的方法与(Cheng et al . 2020)中使用的方法不同，后者依赖于简单的平均操作。

数据集在训练和评估模型性能方面起着至关重要的作用。对于具有挑战性的IMD情况，没有可公开访问的数据集。现有数据集(Dong, Wang, and Tan 2013a;Wen et al . 2016;Ng, Hsu, and Chang 2009;Guan等人2019;Amerini et al . 2011)在篡改图像的分布上表现出明显的不平衡，或者只包含一种图像格式，导致对模型整体检测能力的测量不可靠。此外，一些数据集(Mahfoudi等人2019;Novozamsky, Mahdian, and Saic 2020)应用图像篡改算法，例如(Daisy et al . 2014)来操纵MSCOCO等标准数据集中的图像，这引起了人们的关注，因为一些IMD方法可以依赖于MSCOCO预训练的骨干。为了评估IMD方法在挑战性条件下的有效性，我们提出了一种新的具有新特征的挑战性图像处理检测(CIMD)数据集。CIMD由两个子集组成，分别用于评估基于图像编辑和基于压缩的方法。

第一个子集的主要目标是评估基于图像编辑的方法在检测所有三种类型操作的小操作区域方面的总体性能。为了确保公平评估，我们使用未经任何压缩的原始图像，并确保每种类型的操作包含相同数量的样本。第二个子集的主要目标是评估基于压缩的方法在使用具有相同QF的双重压缩图像检测压缩不一致性方面的有效性。我们创建了拼接操作图像，其中每个双压缩图像都是使用50-100的相同压缩QF创建的。CIMD是手动拍摄和篡改的，确保了高质量的图像样本和注释。因此，我们为评估图像处理检测模型的性能提供了可靠和准确的基准。配对真实和篡改图像的可用性使模型识别被操纵图像的能力得到全面评估。本文的贡献包括:

•我们提出了一种新的双分支架构，结合了RGB和频率特征，用于具有挑战性的图像处理检测。据我们所知，我们的模型是第一个专注于检测小篡改区域的方法。

•我们引入了开创性的压缩伪影学习模型，该模型能够检测双重压缩伪影，而不管量化因子(QF)是不同的还是相同的。

•我们引入了一个新的高质量的CIMD基准，用于评估SoTA IMD方法在具有挑战性的操作中的性能。我们将在书面验收后将CIMD公布于众。

•在CIMD上进行的大量实验表明，所提出的方法在具有挑战性的图像处理检测方面明显优于SoTA。

Related Work

Datasets for image manipulation detection

有几个公开可用的数据集专门用于图像处理检测任务。例如，Columbia数据集(Ng, Hsu, and Chang 2009)包含未压缩的363张拼接图像，平均分辨率较低(938 × 720)。引入CASIA V1.0和V2.0 (Dong, Wang, and Tan 2013a)，用于无GT的仅拼接操作检测。引入了许多数据集用于复制-移动篡改检测。例如，MICC (Amerini et al . 2011)的特征图像主要来自Columbia摄影图像库。Coverage (Wen et al . 2016)是另一个仅复制移动的数据集，包括100对具有相似但真实对象的原始伪造对。NIST (Guan et al . 2019)提供了多个版本的基准操作数据集。一些大型基准数据集，如(Mahfoudi等人2019)和(Novozamsky, Mahdian, and Saic 2020)，应用非真实的可疑自动伪造方法(Daisy等人2014)来生成伪造图像。此外，为了检测压缩伪影，(Kwon et al . 2022)创建了五个使用不同未报告的QF进行双重压缩的自定义数据集。

大多数现有的图像篡改检测数据集只关注特定类型的篡改，或者在篡改类型的分布上表现出明显的不平衡。这将导致对模型整体检测能力的不可靠测量。此外，很少有数据集关注具有挑战性的篡改检测。为了解决这些限制，我们提供了一个包含两个子集的新数据集:(1)具有小的操作区域的图像，每种篡改类型包含相同数量的实例，以及(2)使用相同QF拼接双重压缩的图像。关于我们的数据集和比较分析的细节在补充材料中。

Image manipulation detection

目前用于检测图像操纵的方法可以大致分为两类，这两类通过它们旨在识别的操纵伪影来区分。许多技术(Chen et al . 2021;Liu et al . 2022;Bi et al 2019;Wu et al . 2022;Wu, AbdAlmageed, and Natarajan 2019;Hu et al 2020;杨等2020;Marra等2020;Wang et al . 2022)通过检测异常特征来操作。为了完成这项任务，它们中的大多数使用高通噪声滤波器(Bayar and Stamm 2018;李和黄2019)压制内容信息。其他方法(Kwon et al .2022;Park等人2018a;Mareen等人2022)试图识别篡改图像中的压缩不一致性，因为他们假设操作前后的压缩QF不同。除了这两种主流方法外，一些研究人员还将注意力转向了基于相机的人工伪影，如模型指纹(Cozzolino和Verdoliva 2019; Cozzolino, Poggi, and V erdoliva 2015;Huh等人2018;Mareen et al . 2022)。

与上述方法相反，我们提出的方法采用两分支架构，利用异常特征和压缩不一致性来检测更具挑战性的条件下的图像操作，这是许多当前方法难以实现的。

The Challenging Image Manipulation Detection Dataset (CIMD)

在这项工作中，我们的目标是建立一个综合验证数据集(CIMD)，专门用于在压缩和非压缩场景下的小区域伪造(平均小于1.5%)。我们的数据集在数据集大小、图像质量、图像多样性和伪造策略方面具有优势。分别介绍了两个单独的子集来评估基于图像编辑和基于压缩的方法。

Collection. 我们使用佳能RP相机拍摄原始图像，包括未压缩的TIFF和压缩的JPG伪造-原始图像对。这些照片是在高度多样化的多季节环境中拍摄的，其特点是复杂而复杂的照明条件。我们的目的是在现实环境中对模型进行公正和全面的评估。

Two Disentangled Sub-Datasets. 我们提供了两个子集:CIMD-Raw子集由原始未压缩TIFF图像对组成，用于评估基于图像编辑的方法。CIMD-压缩子集包含拼接伪造及其相应的原始JPEG图像，其均匀量化因子(QF)范围从50到100。这个子集评估了在相同的QF条件下基于压缩的模型检测伪造的能力。

Processing and Tampering.  我们使用Photoshop 2023 (PS)来处理和创建篡改照片，因为它在相关工作章节中提到的其他数据集中很流行，并且在公众中很流行。更多的处理和篡改细节在补充材料中描述。

The CIMD-Raw (CIMD-R) Subset

CIMD-R基准测试旨在全面评估基于图像编辑的模型在检测未压缩图像上的小篡改复制移动、对象删除和拼接伪造行为方面的性能。使用未压缩的图像消除了伪造区域上的不希望的压缩伪影，这些伪影可以被神经网络感知，从而在未检测的情况下实现更真实的性能评估。CIMD-R包含600幅TIFF图像，分辨率为2048 × 1365。还提供了GT。此外，CIMD-R采用面向未来的方法，提供16位图像对，提供多达2^48(万亿)种颜色。对于复制-移动操作，将图像的一部分复制并粘贴到同一图像中，然后进行缩放，旋转，水平/曲线增加，照明变化和颜色再分配五种后处理方法。在移除操作的情况下，通过从图像中移除所选区域(通过Content-Aware Fill In PS)来合成伪造图像。内容感知填充广泛应用于多个数据集(Park等人2018b;Dong, Wang, and Tan 2013b)，代表了PS根据周围区域对物体进行绘制的最佳猜测。对于拼接伪造，从一个图像的区域被复制和粘贴到另一个源。然后，采用复制-移动中提到的后处理方法，使伪造区域与周围环境和谐。

The CIMD-Compressed (CIMD-C) Subset

CIMD-C基准测试旨在评估当第一次压缩和第二次压缩具有相同的QF时，基于压缩的模型检测双重JEPG压缩伪影的能力。数据集包含200张JPEG图像，分辨率为2048 × 1365，其中QF均匀分布为50≤QF<100。伪造图像的生成类似于SIMD-R的拼接样本，不同之处在于伪造图像是使用JPEG压缩算法保存的，使用与原始图像相同的QF。原始图像由RAW文件生成，确保原始图像第一次被压缩，增强数据集的可信度。在伪造图像中，背景是双压缩的，篡改区域是单压缩的。此外，该数据集还包括用于压缩的二进制掩码和QF值，从而增加了其进一步研究不同QF影响的效用。

The Proposed IMD Method

我们提出的两分支架构可以同时检测异常特征和压缩伪影。此外，我们的模型可以有效地检测小的操作区域，并使用相同的量化矩阵(q矩阵)识别双重压缩轨迹。为了实现我们的研究目标，我们采用HR-Net (Wang et al . 2020)作为我们模型的backbone，因为它能够提供三倍的好处。首先，HR-Net中没有池化层，保证了特征在整个过程中保持高分辨率。其次，该模型对不同尺度的特征进行并行处理，并进行有效的信息交换，这对于捕获不同尺度的信息至关重要。最后，HR-Net的输入大小非常适合DCT特征。由于经过速率为8的扩张卷积处理后，DCT特征的大小减小到输入大小的1/8，相当于HR-Net的第二阶段分辨率。我们将完整的HR-Net应用于RGB流，而对于频率流，我们使用三分辨率变体HR-Net取代第一阶段，使用如图5所示的提议的压缩伪影学习模型。

Network Architecture

所提出的网络架构包括两个分支，一个用于检测异常特征，另一个用于识别压缩伪影，如图2所示。对于RGB流，输入图像被馈送到一个完整的HR-Net，它从视觉内容中学习图像编辑痕迹。在频率流中，首先将图像输入到如图5所示的提出的压缩伪影学习模型中，提取各种DCT特征。随后，DCT特征被馈送到HR-Net的变体，该变体以三种不同的分辨率(1/8、1/16和1/32)运行。

为了精确定位小篡改区域，我们使用图6(a)所示的空洞空间卷积池化金字塔(ASPP)和注意机制精心设计了我们的模型。ASPP通过不同的感受野捕获远程距离信息，并处理尺度变化。它由三个不同速率的扩展卷积层和一个全局平均池化(GAP)组成。所得到的特征被连接并传递给1 × 1的卷积。

设计HR-Net各分辨率输出之间的注意机制的出发点是认识到从HRNet提取的四个尺度特征包含了各种各样的语义和空间信息。具体来说，高分辨率特征包含更多的空间内容，而低分辨率特征包含更多的语义响应。然而，大多数先前的方法只是简单地进行上采样并将这些特征连接起来进行检测，而没有充分考虑它们的相互依赖性。注意机制旨在充分利用各分辨率提供的信息，提高检测性能。具体来说，该方法利用自下而上路径的通道注意和自上而下路径的空间注意，其中两个注意模块协作以交互增强特征。通过这种方法，我们寻求充分利用每个尺度特征的潜力并提高检测性能。

接下来，我们将描述注意力如何在RGB流中交互工作，其中过程实际上与频率流相同，具有不同数量的输出分辨率分支。给定一个宽度W和高度H的RGB输入图像I,I∈RH×W×3, HR-Net输出的四个分辨率的特性可以表示为F1∈RH/4 ×  W/4×C1, F2∈RH/8 × W/8×C2, F3∈RH/16 × W/16 × C3和F4∈RH/32 × W/32×C4, C1 = 48, C2 = 96, C3 = 192, C4 = 384是默认设置。自下而上的通道注意特征计算公式为:

其中C(·)表示图6(b)中的通道注意块，⊙表示逐元素乘法。由于F4包含最高级别的语义信息，因此在通道级别保持不变。

对于通道注意的细节，特征映射Fn+1通过1 × 1卷积层进行必要的初步变换。这种转换对于确保Fn+1和Fn之间的通道数量是一致的至关重要，从而使元素级乘法能够在通道维度中有效地执行。我们将变换后的通道数设为C '。将变换后的特征输入到全局平均池中，记为GAP(·)，然后进行激活过程E(·)= C '→C ' /r→C '， r = 4)。通道注意力计算为C(F) = σ(E(GAP (Conv1×1(F)))))，其中σ(·)为Sigmoid激活函数。

应用自底向上通道注意后，对特征映射F2、F3、F4采用双线性上采样方法进行上采样，以匹配F1的分辨率。然后应用自顶向下路径的空间注意机制，其给出如下:

其中S(·)为图6(c)中的空间注意力。由于F1包含了最丰富的空间信息，所以F1在空间层面上保持不变。利用空间最大池化Pmax和空间平均池化Pavg计算空间注意力，S(F) = σ (Conv1×1 [Pmax(F);Pavg(F)])，其中[;]表示concat。

每个分支的特征图经过上采样和交互注意后，具有相同的分辨率。然后将这些特征拼接在一起形成最终特征，用于推理阶段的自适应加权热图聚合。我们的模型生成两个最终的热图，它们通过软选择聚合。具体来说，我们采用双线性特征上采样来提升频率流的热图，以匹配RGB流热图的分辨率。接下来，我们对热图应用Softmax激活函数，然后使用全局最大池化(GMP)，记为GMP(·)，选择主热图及其对应的权值。此选择基于较高的值，这表明与其他热图相比，具有更强的定位响应。我们使用hm和hs来定义主热图和副热图。因此，加权聚合热图h可以使用:

最后，与(Chen et al . 2021)一样，我们在预测的二进制掩码上应用不可训练的GMP来执行图像级检测，因为图像级检测与像素级预测高度相关。

JPEG Compression Artifacts Learning Model

我们的压缩学习模型旨在识别双重压缩图像中的压缩伪影，而不管主压缩和二次压缩是否是一样的QF。有几种方法试图检测DCT直方图中的不一致性，如图3(b)(c)所示。值得注意的是，当使用相同的q矩阵进行双重压缩时，基于直方图的方法并不有效，因为压缩不一致性非常少，如图3(d)所示。幸运的是，即使在这种情况下，仍然可以检测到一些痕迹。在(Huang, Huang, and Shi 2010)中观察到，当使用相同的QF重复压缩JPEG图像时，两次连续压缩之间不同量化DCT系数的数量单调减少。几种方法(Peng et al . 2018;Y yang等人2014;Niu等人(2021)利用这些证据来确定图像是被单次压缩还是双次压缩。与以前的方法相比，我们研究了利用这种痕迹来定位图像中篡改区域的可行性。图4显示，当使用相同的QF创建拼接图像时，被操纵区域被单次压缩，但背景区域被双重压缩。因此，当图像被反复压缩时，不稳定的量化DCT系数逐渐向篡改区域集中，而真实区域保持相对稳定。在此基础上，我们引入了一种新的残差DCT映射来引导DCT特征更好地关注IMD的不稳定区域。

我们的方法只关注Y通道DCT图，因为它对人眼更敏感。给定一个JPEG图像，很容易从JPEG文件头中获得Y通道量化DCT系数Q0及其对应的Q矩阵。首先将Q矩阵重复，使其大小与Q0相同，我们将重复的Q矩阵设为q。因此，我们依次使用以下公式计算(k +1)次再压缩量化的JPEG系数Qk+1:

其中⊘表示逐元素相除，D、B、I和Q分别表示去量化DCT系数、逆DCT去变换块、图像块和量化JPEG系数。上述方程中变量的下标表示再压缩的次数，我们实验设k = 7。RT(·)是舍入和截断运算。[·]表示舍入运算。因此，k次再压缩后的残差去量化DCT系数R定义为:

对于原始Y通道DCT系数Q0，我们使用阈值T进行裁剪操作，然后将其转换为二进制体积。将这个二进制值转换表示为f: QH×W0→{0,1}(T +1)×H×W。(Yousfi和Fridrich 2020)表明，f 在评估DCT直方图中每个系数之间的相关性方面是有效的。因此，将DCT系数Q0转换为二进制体积:

利用函数clip(·)提取[−T, T]内的直方图特征，这对于GPU内存约束是必不可少的。我们从实验中取T为20。此外，由于DCT直方图具有对称性，我们应用了绝对运算。

为了捕获每个频率的块间关系，将二进制体积特征输入到扩展率为8的空洞卷积中。扩展卷积(Y u and Koltun 2015)最初的设计目的是在不下采样的情况下改善感受野。然后将特征输入1×1卷积以减少通道。压缩伪影学习方法涉及两个元素的乘法运算。首先在直方图特征和Q矩阵之间进行乘法运算，利用Q矩阵模拟JPEG去量化过程。第二次乘法用于引导直方图特征更多地关注不稳定系数，这是检测使用相同的QF双重压缩图像的关键步骤。

在一个8 × 8的DCT系数块中，每个系数位置代表一个特定的频率分量。然而，backbone中的卷积操作是为RGB图像设计的，忽略了这些频率关系。为了充分利用DCT系数的空间和频率信息，需要对离散余弦变换系数进行重构。具体来说，每个大小为(8 × 8 × 1)的块被重塑为(1 × 1 × 64)的大小。因此，第一维和第二维表示空间信息，第三维表示频率关系。接下来，将去量化、量化和残差直方图特征在通道维度上进行连接。最后，将拼接后的特征输入到1 × 1卷积层和骨干网络中进行检测任务。

Experimental Results

我们首先描述了实验设置，然后将所提出的网络与新提出的CIMD数据集上的最新方法进行了比较。

Datasets. 本研究中使用的训练数据集主要采用(Kwon et al . 2022)，包括CASIA v2、Fantastic Reality、IMD2020以及专门为使用不同QF检测压缩伪影而设计的数据集。测试阶段分别使用CIMD-R和CIMD-C来评估基于图像编辑和基于压缩的方法的有效性。补充材料中提供了与所使用的数据集有关的进一步细节以及与选定的公开可访问数据集的评估指标的比较分析。

Evaluation metrics. 根据之前的大部分工作，我们使用像素级F1分数评估定位结果，同时使用最优阈值和固定的0.5阈值。对于图像级检测，我们采用AUC和图像级精度。我们还设置了0.5作为图像级精度的阈值。仅使用篡改后的图像进行操作定位评估。

Implementation details. 我们的模型是使用PyTorch (Paszke等人2019)实现的，并在8个RTX 2080 gpu上进行训练，批处理大小为4。我们将初始学习率设置为0.001，并伴有指数衰减。为了减轻不平衡数据集对模型训练的影响，我们在每个epoch从每个数据集中随机选择相同数量的样本。训练过程包括250个阶段。所提出的模型可以接受各种图像格式，包括JPEG和非JPEG格式。对于非jpeg图像，模型采用全1的Q矩阵对样本进行压缩，相当于使用100的QF进行无损压缩。RGB流的主干使用ImageNet (Krizhevsky, Sutskever, and Hinton 2017)进行预训练，而频率流使用(Park等人，2018年)引入的双压缩图像进行预训练。为了提高模型检测小篡改区域的灵敏度，将训练目标设计为最小化像素级二值交叉熵损失。

Comparison with State-of-the-Art

为了保证使用新引入的CIMD对之前的模型进行公平的比较和评估，我们使用以下两个标准选择了最先进的方法:(1)预训练模型是公开可用的，(2)我们使用的评估数据集不在他们的训练集中。根据这些标准，我们选择了RRU-Net、MantraNet、CR-CNN、SPAN、PSCC-Net、MVSS-Net、IF-OSN、CAT-Net、DJPEG和Comprint。其中，DJPEG和Comprint是为检测压缩伪影而设计的，而CAT-Net可以同时检测异常特征和压缩伪影。上述所有研究均在相关工作章节中适当引用。我们使用CIMD-R来评估基于图像编辑的方法的性能，而CIMD-C用于基于压缩的方法。

Evaluation using CIMD-R subset.  表1报告了使用CIMD-R进行基于图像编辑的方法的结果，其中所有图像样本都未压缩。使用每个图像的最佳F1阈值计算像素级F1分数，并使用固定的F1阈值0.5。最好的分数以粗体突出显示。我们的方法在图像级和像素级检测任务中都达到了最佳性能。值得注意的是，我们的方法在图像级和像素级评估方面都优于现有的SoTA方法，这表明了它在检测小篡改区域方面的优越性。

Evaluation using CIMD-C subset.  表2比较了基于压缩的IMD方法的性能，其中所有图像样本都使用相同的QF进行双重压缩，并且评估设置与表1中使用的设置一致。就整体性能而言，我们的方法再次表现最佳，突出了我们的方法对具有相同QF的双重压缩图像的有效性。

Ablation study.  我们提供了一个简单的消融研究，见表3。观察我们的RGB流在压缩和未压缩数据中都是有效的。值得注意的是，由于没有压缩伪影，在CIMD-R中，频率流不能产生令人满意的结果。然而，当两个分支协同工作时，模型在定位和检测评估方面的性能都有所提高。补充材料中提供了额外的消融研究和实验结果。

Conclusion

本研究提出了一种新的具有挑战性的图像处理检测(CIMD)数据集，该数据集由两个子集组成，分别用于评估基于图像编辑和基于压缩的方法。数据集是手动获取和篡改的，并带有高质量的注释。此外，我们提出了一种双分支方法，该方法在使用CIMD数据集检测图像操作方面优于最先进的模型。我们将公布我们的数据集，以促进未来的研究。

Future Work  未来的工作包括探索确定大篡改区域(大于或等于90%)。