ECCV 2022 An Information Theoretic Approach for Attention-Driven Face Forgery Detection

一、背景

我们最近的观察表明，大多数伪造线索都隐藏在信息区，这可以通过经典的信息最大化理论进行定量测量。因此我们第一个尝试使用信息论的手段去强化伪造区域的特征表达。在此基础上我们提出了SIA模块。

二、方法

Self-Information Analysis

自信息⽤来衡量单⼀事件发⽣时所包含的信息量多寡。

我们认为伪造区域与它相邻的neighbour patch 的差异越大，其包含的信息量就越多。

论文的方法示意图如下。主要包含三个模块Self  Imformation Computation（计算输入特征图的high-Imformation 区域,输出一个attention map）、Self-Imformation based Dual Attention（同时使用通道注意力和空间注意力去最大化自信息的效果），Self-Imformation aggreation（将所有自信息的特征图送入SIA从而最大程度的保留细节区域）

Self-Information Computation

我们将输入到第t层的SIA模块特征记作

将第k个通道的（i,j）位置的像素点记作

自信息可以通过当前像素和其邻域的高斯核函数近似。我们知道，求解自信息需要知道概率分布。该方法求自信息的方式是将当前像素及其邻近像素的关系视作高斯核函数。

关于特征图上的每一个像素点 我们考虑空间和通道两个领域的周围像素因此有如下两个式子

 

 通过上图我们可以看到Intra 是计算相邻块每个通道的像素点，inter是计算同一个区域不同通道之间像素点。

Self-Information based Dual Attention

          

Spatial-wise Attention

这张注意力图聚焦于参数改进不大的高信息区域，可以自适应增强很多伪影细微线索，如混合边界和高频噪声等。

Channel-wise Attention Module

我们计算信道特征图的平均自信息并生成信道统计特征

 

 Dual Attention Module Embedded in CNN

之后我们联合两个注意力模块并与之前的特征图相加。

 所提出的SIA模块是一个灵活的模块，可以很容易地插入到任何基于CNN的架构中。此外，我们还可以灵活选择空间注意力模块和信道注意力模块。SIA模块不会增加很多参数，但可以增强模型的性能。

Self-Information Aggregation

常规的CNN使用池化去扩大感受野范围，但是这样会损失很多判断伪造痕迹的细节。为了克服这个问题。我们设计了一个自信息聚合操作，该操作是通过自我信息注意力图对不同级别的SIA模块进行级联完成的。我们使用1*1卷积保证每个模块出来的特征图大小相同。

三、实验

 

 消融实验结果

 SIA模块源自自信息理论（SI），该理论通常创建在浅层结构和纹理特征之上。因此，将SIA模块插入模型浅层是直观的，这有助于增强自信息。在中间层，SIA模块有助于减少远程伪造模式带来的全局不一致性，并通过自我信息聚合方案传递有用的局部和细微伪造信息。然而，在更深的层次中，下采样操作会忽略许多局部和微妙的伪造信息，其中SI很难找到有用的伪造检测线索。总之，将SIA插入浅层或中间层（L1，L2，L4）是自然和合理的，我们的实验确实证实了这一点。

简单来说SIA 插在中间层可以防止过远距离的信息带来的不一致，帮助模型更好的捕捉伪造信息。但是如果该模块插入更深的层次由于下采样操作会会忽略大量的伪造痕迹导致效果不好。

可视化

我们可以观察到，自我信息高的信道包含更多的局部高频线索和微妙的细节，而较低的信道具有更多的语义信息和更平滑的线索，这对人脸伪造检测任务的帮助较小。 

此外，基于自我信息的注意力图增强了嘴、眼、高频纹理、混合边界等高信息区域，同时削弱了重复的低频区域