MoE-FFD：Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection

最新推荐文章于 2024-11-04 10:51:20 发布

Sherry Wangs

最新推荐文章于 2024-11-04 10:51:20 发布

阅读量627

点赞数 9

分类专栏： Deepfake Detection 文章标签：人工智能 pytorch

本文链接：https://blog.csdn.net/m0_61676839/article/details/140999135

版权

Deepfake Detection 专栏收录该内容

3 篇文章 1 订阅

订阅专栏

来源：2024 arXiv（submitted TDSC，CCF-A）
作者：Chenqi Kong¹, Anwei Luo², Peijun Bao¹, Yi Yu¹, Haoliang Li³, Zengwei Zheng⁴, Shiqi Wang³ and Alex C. Kot¹
单位：¹ 新加坡南洋理工大学; ² 中山大学; ³ 香港城市大学; ⁴ 浙江大学;
Paper：https://arxiv.org/pdf/2404.08452
Code： https://github.com/LoveSiameseCat/MoE-FFD

研究背景

Deepfakes最近在公众中引发了重大的信任问题和安全问题。与CNN人脸伪造检测器相比，基于ViT的方法利用了Transformers的表现力，实现了卓越的检测性能。然而，这些方法仍然表现出以下局限性：

（1）从ImageNet权重完全微调基于ViT的模型需要大量的计算和存储资源;

（2）基于ViT的方法难以捕捉局部伪造线索，导致模型偏差;

（3）这些方法将其范围限制在一种或少数人脸伪造特征上，导致泛化性较弱。

为了应对这些挑战，这项工作引入了用于人脸伪造检测的混合专家模块（MoE-FFD），这是一种通用但参数高效的基于ViT的方法。

（1）MoE-FFD 保持 ViT 骨干网络模型参数冻结，仅更新轻量级低秩适应（LoRA）和适配器层，从而实现参数高效训练。

（2）MoE-FFD利用转换器的表现力和CNN的局部先验，同时提取全局和局部伪造线索。

（3）新颖的MoE模块旨在扩展模型的容量，并动态选择最佳的伪造检测专家，进一步提高网络模型性能。（即使用固定激活参数缩放模型的容量）

（4）提出的学习方案可以以即插即用的方式无缝适配到各种Transformer网络模型。

大量的实验结果表明，所提方法在显著降低参数开销的情况下，实现了最先进的人脸伪造检测性能。

Moe-FFD与其他公开的人脸伪造检测模型在CelebDF-V2数据集上进行比较，激活参数的数量最少，AUC最高

方法流程

网络结构

MoE-FFD流程图

与Vision相比，将原有的Layer Norm替换成了MoE LoRA Layer和 MoE Adapter Layer

MoE LoRA Layer

LoRA模块具有不同的秩，它们将输入的token投影到不同的特征空间中。然而，在不受控制的部署环境中，手动预定义不同测试人脸的理想秩是具有挑战性的。

为了应对这一挑战，我们设计了一个 MoE LoRA Layer，该层为每个输入查询学习最佳 LoRA 专家。如图所示，每个 LoRA 专家 $E_L(·)_i$ 指定一个秩 $r_i$ 。在这项工作中，我们设计了一种门控机制 $G_L(·)$ 来动态选择 Top-k 专家（默认值：k=1）。因此，输出的token可以通过以下方式计算：
$x_{out} = W_{q/k/v}x_{in}+\sum_{i}^{n}{G_L(x_{in})_iE_l(x_{in})_i} \\ E_l(x_{in})_i = x_{in}W_i^{down}W_i^{up}$
其中， $W_i^{down}$ 和 $W_i^{up}$ 是两个可训练矩阵

MoE Adapter Layer

先前的研究已经证明了使用局部差异卷积捕捉面部伪造线索的有效性。然而，这些基于CNN的方法只限于一个特定的伪造特征。在我们的研究中，我们引入了MoE适配器层，集成到ViT骨干中。这种设计旨在扩展模型容量，并促进动态选择合适的伪造适配器专家。此外，设计的MoE适配器层动态地将局部伪造先验注入到普通的ViT骨干中。
$x_{out} = MLP(x_{in})+\sum_{j}^{M}{G_A(x_{in})_jE_A(x_{in})_j} \\ E_A(x_{in})_j = Conv_{1×1}^{up}(Conv_{3×3}^{j}(Conv_{1×1}^{up}(x_{in})))$
其中， $Conv_{1×1}^{up}$ 和 $Conv_{1×1}^{up}$ 是两个 1×1 的卷积层，它们分别对通道进行下采样和上采样。 $Conv_{3×3}^{j}$ 指的是不同专家中特定的 3×3 卷积层，具体如下：

在这里插入图片描述

Gating Network

采用Top-k噪声门控作为门控机构。设gating scores $\in R^{N_e}$ ，由值 $\in R^{N_e}$ 确定，其中 $N_e$ 表示专家数。对于给定的输入 $\in R^{N_t ×dim}$ ，首先应用平均池化并将其调整为 $x_m \in R^{dim}$ 。然后，我们通过以下公式计算 $H (x)$ ：

$x_m \otimes W_{gate} + StandardNormal()(Softplus(x_m \otimes W_{noise})) \\ G(x) = Softmax(Topk(H(x), k))$
其中， $W_{gate}$ 和 $W_{noise}$ 是可训练参数，Softplus 是一个激活函数。为了防止门控网络收敛到为相同的少数专家产生大量权重的状态。我们进一步对每个门的批量平均值应用软约束。因此，对于给定的一批数据 X，MoE 损失 $L_{moe}$ 定义为：
$L_{moe} = CV(Importance(X))^2 \\ Importance(X) = \sum_{x \in X}G(x) \\ CV(Importance(X)) = \frac{Mean[Importance(X)]}{Std[Importance(X)]}$