换脸的双重防御—2024TIFS—Dual Defense: Adversarial, Traceable, and Invisible Robust Watermarking Against Fac-CSDN博客

本文链接：https://blog.csdn.net/JustWantToLearn/article/details/139550697

文章目录

Dual Defense: Adversarial, Traceable, and Invisible Robust Watermarking Against Face Swapping
1、背景：现有的防御手段
2、双重防御：对抗+水印
3、方法
4、实验效果

Dual Defense: Adversarial, Traceable, and Invisible Robust Watermarking Against Face Swapping

1、背景：现有的防御手段

在这里插入图片描述
图a：源图+水印编码——溯源
图b：源图+对抗性样本——对抗攻击
图c：源图+水印编码+对抗性样本——双重防御，既可以攻击又可以溯源

2、双重防御：对抗+水印

对抗方法：防止图片被修改
水印：溯源

先前方法：利用鲁棒水印方法来跟踪面部图像的版权，促进伪造后的身份归属
本文：一种基于鲁棒对抗性水印的创新框架。它同时跟踪图像版权，并通过一次性嵌入鲁棒对抗水印来破坏人脸交换模型。

提出了一种原始域特征仿真攻击(OFEA)方法，该方法通过专门设计的原始域对抗损失，使可跟踪水印具有对抗性。
此外，我们进行小波域图像结构信息补偿损失，结合通道关注机制，共同平衡水印的不可见性、对抗性和可追溯性。
设计了一种更全面、更合理的评估方法，以彻底评估针对人脸交换模型的对抗性攻击的有效性。

3、方法

在这里插入图片描述

包括四个关键组件：水印编码器、鉴别器、FaceSwap模型和水印解码器，如图所示。水印不可见性、对抗性和水印不可见性等多个优化目标可追溯性带来了困难的权衡。 Dual Defense要解决的主要挑战之一是如何以更符合人类视觉感知的方式将水印编码到原始目标图像中，同时确保对抗性和可追溯性，平衡不同水印性能方面的优化冲突。

3.1 整体思路

在这里插入图片描述

3.2 Watermark Encoder 水印编码器

编码器将水印信息感知地编码到原始目标图像中。基于 U-Net 架构构建的编码器最初通过由卷积（kernel size = 3，stride = 1）和 ReLU 层组成的 Conv-ReLU 块扩展载波通道维度，并通过由以下组成的 Conv-BNReLU 块对其进行下采样：卷积、批量归一化和 ReLU 层来提取载体特征。此外，在下采样过程中引入了 SENet，通过显式建模通道间依赖性来自适应地重新校准通道特征响应，从而帮助确定最佳水印嵌入强度。同时，水印信息引入了冗余信息来匹配载体特征图的维度，并由 SENet 跨通道加权。然后将下采样的编码特征和水印扩散信息连接起来。通过上采样和卷积块对级联特征进行逐层上采样，以获得载体水印特征图。最后，该特征图与原始图像连接并输入卷积层（kernel size = 3 = 1）以生成三通道水印图像。

3.3 Watermark Decoder 水印解码器

解码器用于接收端从带水印的图像中提取水印。它由五个 Conv-BN-ReLU 块组成，kernel size = 3，stride = 1，有助于对水印图像进行连续下采样。此外，我们在每个 Conv-BN-ReLU 块之后引入了最大池层和残差结构，增强了解码器在载体的深层特征空间内学习信息映射的能力。最终，应用线性层将提取的特征映射回原始水印信息长度。

3.4 Discriminator 判别器

我们使用判别器进一步限制水印图像的质量下降。判别器结构主要由 Conv-BN-RELU 块组成，其中包含卷积（kernel size = 3，stride = 1）、批量标准化和 ReLU 层。经过三层卷积后，判别器通过平均池化降低特征维度。最后通过sigmoid层得到每张图像是否为水印图像的判别概率。

3.5 感知对抗性水印编码

在水印编码器的优化过程中，提出了一种基于OFEA的感知对抗编码策略。
该策略以偏离源面部的方式将水印嵌入到载体的鲁棒特征映射中，并通过精心设计的不可见性损失来补偿水印的对抗性所导致的图像质量下降。水印编码器接收目标用户的面部图像以及代表用户身份的定制水印，并进行感知对抗性编码。为了防止训练过程中的过拟合，在每批中随机生成用于编码的水印信息:
$x_{i}^{W_{ID}} = En(x_i,W_{ID})$

水印编码器同时优化了水印的不可见性和对抗性。我们将基于 CNN 的判别器 Dis(·) 集成到我们的框架中。鉴别器经过训练可以区分水印和载体图像。通过与水印编码器的对抗性优化，鉴别器引导水印图像分布与真实图像非常相似，从而限制对抗性优化引起的图像失真。使用二元交叉熵（BCE）LD 来更新鉴别器：
$L_D = E_{x_i\sim X_t}-log(Dis(x_i))+ E_{x_i\sim X_t}-log[1-Dis(x_i^{W_{ID}})]$
然后，通过将原始域对抗损失与图像不可见损失相结合，联合优化水印编码器。