【论文笔记】Edge-aware Regional Message Passing Controller for Image Forgery Localization（CVPR2023）

发布于CVPR2023
用于图像伪造定位的边缘感知区域消息传递控制器

Abstract

数字图像真实性促进了图像伪造定位的研究。尽管基于深度学习的方法取得了显著的进步，但大多数方法在伪造区域和真实区域之间通常都存在严重的特征耦合问题。在这项工作中，提出了一种两步边缘感知区域消息传递控制策略来解决上述问题。

第一步是考虑充分利用边缘信息。它由两个核心设计组成：上下文增强图构造和阈值自适应可微二值化边缘算法。前者整合全局语义信息来区分伪造区域和真实区域之间的特征，而后者则基于前者的输出来提供可学习的边缘。

第二步，在可学习边缘的指导下，设计区域消息传递控制器来削弱伪造区域和真实区域之间的消息传递。通过这种方式，我们的 EMPC 能够对伪造区域和真实区域之间的不一致进行显式建模，并使其能够在精炼的伪造图像上表现良好。在几个具有挑战性的基准上的大量实验表明，本文的方法在定性和定量上都优于最先进的图像伪造定位方法。

Introduction

图像伪造检测的关键是对伪造区域与真实区域之间的不一致性进行建模，并对可疑图像上的伪造区域进行定位，即图像伪造定位（IFL）。GAN、VAE、homogeneous manipulation等后处理技术的广泛应用，图像很容易以视觉难以察觉的方式被篡改。这些技术不断地将伪造区域和真实区域的特征结合起来，给图像伪造定位带来了挑战。因此，为了准确定位图像伪造区域，对伪造区域和真实区域之间的特征进行解耦就显得尤为重要。

ManTra-Net将伪造定位问题视为局部异常检测问题，并提出了一种新的长短期记忆解决方案来评估局部异常。为了区分不同的区域，SPAN利用cnn从噪声映射中提取异常的局部噪声特征。MVSS-Net利用多尺度监督网络学习多视图特征，联合利用噪声视图和边界伪影。

然而，这些方法并没有对伪造区域和真实区域的特征进行解耦，使得精细伪造图像的篡改区域难以准确定位。如图1所示，在之前的方法中，伪造区域的特征与真实区域的一些特征耦合，导致定位错误。

在本工作中，提出了一种新的方法来避免两个区域(伪造和真实)的特征耦合的图像伪造定位。该方法的关键之一是构造一个动态图，其中伪造区域和真实区域之间的边参与了动态图的构造。我们通过重构边缘内外节点的邻接矩阵来控制边缘内外区域(即伪造区域和真实区域)的消息传递，从而实现伪造区域和真实区域之间特征的有效解纠缠。基于边缘感知的动态图卷积的功能，将其命名为区域消息传递控制器(RMPC)。

为了将该方法用于图像伪造定位，需要获取伪造区域和真实区域之间的边缘信息，这是该方法的另一个关键。为此，开发了一种边缘重建(ER)模块，包括上下文增强图(CEG)和阈值自适应可微二值化模块。在CEG中，我们专门设计了一个邻接矩阵学习器，它将全局信息沿着节点编码，从而组装出全局语义信息。受Sigmoid函数的启发，我们开发了阈值自适应可微二值化边缘算法，该算法基于CEG的输出来提供可学习的边缘。

总之，在本研究中，我们提出了一种新的两步框架——边缘感知区域消息传递控制器(ERMPC)，用于图像伪造定位，包括RMPC和ER。ERMPC可以有效地控制伪造区域和真实区域之间的消息传递，实现两个区域的有效解纠缠，从而提高图像伪造定位的性能。我们以边缘信息为主要任务，并以此为基础对两个区域之间的不一致性进行显式建模。据我们所知，这项工作是明确削弱伪造区域和真实区域之间传递信息的第一次尝试。

Main contribution

• 提出了一种新的由粗到细两步的图像伪造定位框架ERMPC，该框架明确地建模了带有边缘信息的伪造区域和真实区域之间的不一致性。
• 提出了一种边缘感知动态图，也称为RMPC，用来控制特征映射中两个区域(伪造和真实)之间的消息传递。
• 开发了一个包含上下文增强图和阈值自适应可微二值化模块的边缘重建模块，以获得所需的边缘信息。
• 在多个基准上进行了广泛的实验，证明我们的方法在定性和定量上优于最先进的图像伪造定位方法。

Related Works

Image Forgery Localization

…

Graph Reasoning 图论

基于图的方法近年来受到计算机视觉界越来越多的关注，它是一种有效的关系推理方法，具有很强的非局部特征聚合能力。

…

在计算机视觉的其他任务中，例如目标检测、多标签图像识别和基于骨骼的动作识别，图卷积神经网络也取得了令人印象深刻的性能。在此基础上，提出了一种改进的边缘引导图注意模型，通过动态构造来阻止伪造区域与非伪造区域之间的消息传递，从而实现伪造区域的定位。由于图卷积是一种非常适合检测伪造痕迹的有效的关系推理方法，本文首次将其应用于图像伪造定位任务中。提出了一种改进的边缘引导图注意模型用于伪造区域的定位，该模型通过动态结构来阻止伪造区域与非伪造区域之间的消息传递。

Methodology

基于边缘感知消息传递控制的图像伪造定位方案。

该方案的关键之一是通过边缘控制消息的传递，从而对伪造区域和真实区域之间的不一致性进行建模。另一个关键在于从粗特征重建精确的边缘。

Overview

使用RGB和noise两个分支分别处理，使用在ImageNet上预先训练的ResNet-50作为Backbone。采用ASPP和ResNet-50来捕获远程上下文信息。从RGB分支中提取的粗特征通过边缘重构块转化为边缘。同时，在重构边缘信息的指导下，将粗特征构造为图结构。最后，通过双注意DA将图卷积网络后的RGB特征与噪声信息融合，输出预测的伪造定位图。

Region Message Passing Controller 区域消息传递控制器

大多数伪造的图像都经过了仔细的后处理，以隐藏篡改的伪影，这使得在RGB分支中建模不一致具有挑战性。为了克服这一问题，利用伪造区域和真实区域之间的边缘来显式控制消息的传递。

边缘特征Ge∈RHe×We×1来自边缘重构块，其中He = Hs, We = Ws。首先，我们使用类似于XNOR门的算法计算GE的两个节点特征Pi, Pj之间的关系:

如果两个节点分别位于边缘的内部和外部，则它们的XN设为0，都在内部或都在外部则设为1。对于N (N = He × We)节点的每个特征，我们计算其XN，从而生成矩阵Ae∈RN×N。

接下来，应用图学习来处理Gr∈RHs×Ws×Cs。在GAT之后，我们计算两个节点之间的相似度作为注意系数:

其中，ψ， ψ '表示两个可学的线性变换。具体来说，ψ = Wx， ψ ’ = W ’ x，其中W∈RCs×Cs, W '∈RCs×Cs都是权矩阵。为了使系数更容易在不同节点之间进行比较，我们使用softmax函数对其进行归一化:

其中Ar∈RN×N是初步邻接矩阵。它反映了特征图中任意两个节点之间的关系。值越大，表示两个节点之间的信息流就越大。为了更好地实现消息传递控制，采用了动态调整邻接矩阵的方法。具体来说，如果两个节点分别在边界上和边界外，则由于邻接矩阵的动态调整，它们的邻接关系被破坏。在实际操作中，邻接矩阵重新计算如下:

A’r∈RN×N对feature map中节点之间的权值进行了重新建模，切断了伪造区域与真实区域之间的连接。

一旦得到邻接矩阵，就通过可学习的注意权值对其进行加权。然后对原始节点进行如下更新:

其中Zr∈RN×Cs为图推理后的RGB特征，Wz∈RCs×Cs为可学参数，G’r∈RN×Cs为Gr。

值得注意的是，本工作不仅首次引入了控制图像伪造定位中消息传递的思想，而且实现的方法也不同于以往的研究[12,20]。BFP[12]使用有向无环图(DAG)进行特征传播，并在传播过程中引入边界信息来控制消息在不同段之间的传递。但是，它必须逐像素地扫描图像，并且需要大量的循环，因此在实际应用中很难实现。BGC[20]强调减少边缘的权值，并不真正关注区域之间的消息传递。

Edge Reconstruction 边缘重建

边缘感知的消息传递控制图需要精确的边缘信息。设计这样一个边缘接入网并非易事。主要的挑战是如何从粗特征中学习边缘信息。为此，提出了一种新的边缘重建方法。具体来说，我们首先使用Sobel层来增强Gr∈RHs×Ws×Cs中的边相关模式，

其中Norm为L2归一化，σ为Sigmoid, Sobel为SobelConv。

然后，我们探索上下文增强图(CEG)，分别提取Gc∈RHs×Ws×Cs的局部和全局特征。其中，局部信息由卷积层Sobel提取。对于全局信息，feature map的上下文信息以简单有效的方式编码为邻接矩阵Ac∈RN×N。如图3所示，Ac由专门设计的邻接矩阵学习器生成，该学习器由两个1 × 1卷积层组成。这个过程写成

其中G ’ c∈RN×Cs被Gc重塑。给定G ’ c的节点特征，我们首先将特征维度压缩1 × 1卷积层。然后，使用另一个带有1 × 1核的卷积层，将N维特征向量转换为N个×N邻接矩阵。此外，对Ac的每一行进行L2归一化，便于稳定优化。接下来，我们使用这个邻接矩阵来完成图推理。这样我们就可以得到一个全局的feature map。这个过程可以写成

其中Wc∈RCs×Cs是可学参数。为了与局部信息维匹配，我们将Global (G ’ c)∈RN×Cs重新塑造为Global ’ (G ’ c)∈RHs×Ws×Cs。然后结合局部和全局信息，得到边缘概率映射Gp∈RHs×Ws×1:

其中，σ为Sigmoid, C为1×1卷积层，Local包含ReLU和两个卷积层。

此外，为了确定边缘，需要确定一个阈值来对概率图进行二值化。以往的研究大多使用固定的阈值，过程是不可微的。我们利用了一个可变阈值映射，它对概率映射Gp上的每个点都是自适应的。此外，我们提出了一个Sigmoid函数的变体来完成二值化，它能够参与所涉及的反向传播。二值化阈值调整是通过沿x轴平移Sigmoid函数来实现的。因此，我们探索阈值自适应可微二值化(TDB)边缘重建。计算方法如下:

其中τ表示可学习变换，实际是3 × 3卷积算子，k是放大因子。特别地，k根据经验被设为500。

Branch Fusion 分支融合

使用BayarConv提取噪声，使用DA模块进行融合，DA包括通道注意模块(CAM)和位置注意模块(PAM)。

其中，Gz∈RHs×Ws×Cs是由Zr重塑的。最后，我们通过双线性上采样将Go∈RHs×Ws×1转化为最终的预测mask Gout∈RH×W×1。

Optimization 优化

如图2所示，计算三个分量的损失函数:最终预测Gout∈RH×W×1，二进制边缘预测Ge∈RHe×We×1，边缘概率映射Gp∈RHe×We×1。对于边缘损失，gt边E∈RH×W×1下采样到较小的E′∈RHe×We×1to匹配Ge, Gp。该策略在计算成本和性能方面优于上采样Ge、Gp。总的损失函数可以写成:

Experiments

Experimental Setup

Pre-training Data

自己创建的，MSCOCO生成，对生成的数据随机添加高斯噪声或采用JPEG压缩算法，以达到与真实场景图像的视觉质量相似的效果。

Testing Datasets

CASIA、 Coverage、 Columbia、NIST16、 IMD20

Evaluation Metrics

AUC和F1

Comparison with the State-of-the-Art Methods

预训练模型

在Coverage、CASIA、NIST16和IMD20上的定位性能最好，在Columbia上排名第二。特别是在复制-移动数据集Cover上，ERMPC达到了94.4%，该数据集的图像伪造区域与背景不易区分。这验证了我们的模型在控制两个区域(伪造区域和真实区域)之间的消息传递方面具有更强的能力。我们未能在Columbia上取得最佳表现，AUC落后于PSCCNet1.4%。我们认为可能是，他们的综合训练数据的分布接近于哥伦比亚数据集。表2的结果进一步证实了这一点，ERMPC在AUC和F1得分上都优于PSCCNet。此外，重要的是要注意ERMPC在较少的训练前数据下获得了不错的结果。

微调模型

验证了 EMPC 可以通过控制特征图中两个区域（伪造的和真实的）之间的消息传递来捕获微妙的篡改伪影。

Robustness Evaluation

Ablation Analysis

本文方法 ERMPC 的区域消息传递控制器（RMPC）模块旨在削弱伪造区域和真实区域之间的消息传递。**上下文增强图（CEG）沿节点对全局信息进行编码以获得更好的边缘概率图，而阈值自适应可微分二值化（TDB）**自适应地对可学习边缘执行二值化过程。

表 4 列出了定量结果。基线表示只使用 ResNet-50。可以看出，如果没有 TDB，AUC 分数在 CASIA 上下降了 2.0%，在 NIST16 上下降了 1.5%，而没有 CEG，AUC 分数在 CASIA 上下降了 5.9%，在 NIST16 上下降了 6.3%。此外，当丢弃 RMPC 时，可以观察到表 4 中性能严重下降，即 CASIA 上的 AUC 下降了 14.9%，F1 下降了 22.2%。

在图 5 中，展示了阈值自适应可微二值化中参数 k 的不同值，以验证其在三个数据集上的效果。随着它的增加，二值化曲线变得更陡。而且，较小不足以削弱消息传递，而较大则会破坏网络的适应能力。显然设置500是最优解。

Visualization Results

定性结果

消息传递控制器的可视化

为了验证区域消息传递控制器（RMPC）的有用性，在图6中显示了控制器之前和之后的特征变化。很明显，RMPC有助于学习伪造特征并防止误报。具体来说，没有RMPC的网络会对类似于伪造的对象做出错误的判断。

边缘重建的可视化

为了验证边缘重建（ER）模块的效果，EG前后的特征变化如图7所示。结果表明EG可以有效地获取准确的边缘，从而帮助我们的模型表现良好。

Conclusion

提出了一种新颖的图像伪造定位框架，具有两步边缘感知区域消息传递控制策略。具体来说，第一步是考虑充分利用边缘信息。第二步，在可学习边缘的指导下，设计了边缘感知动态图来削弱伪造区域和真实区域之间的消息传递。我们的论文为解决IFL领域的误判问题提供了一种新的研究策略。多个基准的大量实验结果证明了所提出算法的有效性。