【Deepfake Detection】 DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake Detection

• 来源：2024 arXiv
• 作者：Chunlei Peng¹ , Huiqing Guo¹ , Decheng Liu¹ , Nannan Wang¹ , Ruimin Hu¹ , Xinbo Gao²
• 单位：Xidian University¹, Chongqing University of Posts and Telecommunications²
• Paper：https://arxiv.org/abs/2312.04961
• Code： https://github.com/shimmer-ghq/DeepFidelity

背景

问题： 现有的深度伪造检测方法主要集中在通过设计复杂的网络提取特征，但往往忽略了人脸的感知质量对深度伪造检测的影响。

解决方法： 考虑到真实和伪造人脸的质量分布复杂性，提出了一种新的深度伪造检测框架DeepFidelity，以适应性地区分不同图像质量的真实和伪造人脸，挖掘人脸图像的感知伪造保真度。并提出了基于对称空间注意增强的视觉转换器(SSAAFormer)，它利用人脸数据的地理距离关系，在模型的浅层上更有效地学习人脸特征。

深度伪造二元分类与伪造保真度回归。左子图是传统的基于二元真假分类的深度假检测策略，右子图是我们的感知伪造保真度评估方法，该方法不仅可以对真人脸进行分类，还能提供假人脸的伪造保真度。

方法流程

1. 感知伪造保真度评估：DeepFidelity框架引入了感知伪造保真度的概念，通过将不同质量的真实和伪造人脸数据映射到不同的分数上，以更细致的方式区分它们。这种方法不仅能够区分真实和伪造的人脸，还能评估伪造的保真度，即伪造数据的可信度

注：对于图像进行质量评估是来源于2022年CVPR的一篇文章SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness

2. SSAAFormer网络结构设计：提出了一种名为Symmetric Spatial Attention Augmentation based vision Transformer（SSAAFormer）的网络结构。这个结构利用人脸图像的对称性，在网络的浅层阶段增强局部特征，通过模拟地理长距离关系来提升特征的表达能力。【个人想法：考虑不是很充分，没有考虑到侧脸信息】

3. 支持向量回归（SVR）：使用SVR将特征映射到分数，采用径向基函数（RBF）作为核函数，通过调整超参数σ来控制样本间相似性衰减的速率。

实验部分

域内实验

交叉实验

消融实验——各模块的有效性

消融实验——不同质量映射的方法比较

消融实验——探究SSAA所处位置

使用的SSAA层数不足，不能充分模拟地理长距离关系。随着网络深度的增加，接受野经历了一个渐进的扩大，而位置信息经历了相应的缩小。这一过渡过程导致网络提取的特征变得更加抽象。因此，在网络的较深层中，曾经突出的局部对称关系逐渐减弱。通过实验表明：决定在模型的第一阶段，即前五个块中采用对称空间注意力增强。

不同质量的人脸分析

根据人脸质量分数将WildDeepfake数据集中的真假人脸图像划分为四组。在没有质量分数映射的情况下，模型容易将真实图划分为假的，导致对真实图像的准确率较低。相比之下，文章方法实现了更公平的分类，准确率在不同的质量区间上分布得更均匀。