【阅读笔记】基于扩散模型的人脸隐私保护DiffAM（含代码实现）

【阅读笔记】基于扩散模型的人脸隐私保护：DiffAM

原始论文地址

原始论文github代码

0. 摘要

信息技术的快速发展使得社交媒体上的人脸信息隐私会受到一些未经授权的人脸识别系统 (Facial Recognition, FR) 的威胁。目前一些主流的方法通过生成对抗性的案例来误导恶意的FR系统，但这些方法生成的图像具有视觉质量差以及迁移性差的特点。在本文中提出了一种新的面部隐私的保护的方法，成为DiffAM，利用扩散模型(Diffusion Model)的生成能力来生成高质量的面部保护图像，这些图像具有从参考图像中转移而来的化妆。

1.介绍

目前许多方法利用对抗性攻击(Adversarial Attacks)来进行人脸隐私的保护，这种方式往往是基于噪声或是基于补丁的，旨在原始的人脸图像上添加噪声以误导FR系统，但缺点是图像的质量差。

为了获取更加自然图像，提出了将噪声替换为化妆，生成带有妆容的被保护图像。然而这种方法也存在以下问题：1.妆容中容易产生伪影(artifacts)导致图像质量差；2.生成的妆容与期望的妆容不一致；3.黑盒模型的可迁移性差。如下图所示。

基于文本引导的对抗性化妆生成的被保护的图像在细节部分与期望的妆容不一致。

为了解决这些问题，作者提出了一个全新的基于扩散模型的对抗性化妆转移模型DiffAM。模型整体由两个模块组成：文本引导卸妆模块(text-guided makeup removal module) 和 图像引导妆容转移模块(image-guided makeup transfer module) 。

2.相关工作

2.1.对抗性攻击

对抗性攻击旨在通过在原始的人脸图像中加入微小的扰动，从而欺骗FR系统使其产生错误的输出结果。根据对FR模型的了解，攻击可以分为白盒攻击和黑盒攻击。

在实际应用中往往难以得知那些未授权的FR模型的具体信息，因此绝大多数的攻击都是以黑盒攻击为主(如基于噪声的对抗性扰动)。难点在于在保证图像质量的同时保证攻击的有效性，同时具有良好的可迁移性。

2.2.妆容转移

妆容转移(Makeup Transfer) 旨在将妆容的风格从参考图像转移到原始图像中，同时保持原始人脸图像的身份不变。

2.3.扩散模型与风格迁移

扩散模型(Diffusion Model) 是一种概率生成模型，在生成高质量的模型方面具有强大的性能。有关Diffusion Model的原理解析等，可以参考其他博主的文章。风格迁移(Style Transfer) 是一种图像到图像的翻译任务，能够将参考图像的风格 和原图像的内容 相结合，生成新的图像，例如用一张油画的风格生成城市街道的风景照。

3.提出的方法与原理

3.1.问题描述

人脸隐私保护可以分为冒充攻击(impersonation)和躲避攻击(dodging)。更详细的解释可以参考我的另一篇文章 https://blog.csdn.net/qq_52374095/article/details/144061278?spm=1001.2014.3001.5501

简单来看，冒充攻击 旨在欺骗FR系统将A的身份识别为另一个冒充身份B；躲避攻击 旨在使得FR系统识别不出A的具体身份。

为了更好的保护人脸图像，作者此处重点研究冒充攻击。对于被保护的人脸图像$x^{\prime }$ ，冒充身份$x^{\ast }$， 冒充攻击可以被简化为一个优化问题：
$$\underset{x^{\prime }}{\min }{L}_{adv}=D(m(x^{\prime }),m(x^{\ast }))$$
其中$m$代表FR模型的特征提取算法，$D(\cdot )$代表距离度量。

需要注意的是，这里的$x^{\prime }$是化妆后的人脸图像，由具有化妆的参考图像$y$和原始的干净人脸$x$得到。假设生成模型是$G(\cdot )$，$x^{\prime }$可以表示为：
$$x^{\prime }=G(x,y)$$

3.2.DiffAM

为了生成外观自然且可迁移的对抗性化妆图像，DiffAM模型包括两个模块：文本引导卸妆模块(text-guided makeup removal module) 和 图像引导妆容转移模块(image-guided makeup transfer module) 。

3.2.1.文本引导卸妆模块

对于一张给定的具有化妆风格的参考图像$y$，首先用预训练的扩散模型${ϵ}_{{\theta }_1}$通过扩散过程将得到潜在的噪声图像$y_{t_0}$。在反向扩散过程中，对${ϵ}_{{\theta }_1}$进行去妆微调，得到无妆图像$\hat{y}$。这一过程由CLIP损失指导得到：

$$\begin{gathered} L_{MR}=1-\frac{\Delta I_y\cdot \Delta T}{||\Delta I_y||\cdot ||\Delta T||} \\ \Delta I_y=E_I(\hat{y}({\hat{\theta }}_1))-E_I(y) \\ \Delta T=E_T(t_{clean})-E_T(t_{makeup}) \end{gathered}$$

• $E_I$和$E_T$分别是CLIP模型中的图像和文本编码器，将图像和语义描述文本编码为同一纬度的向量便于后续计算；
• $y$是具有化妆风格的参考图像，$\hat{y}({\hat{\theta }}_1)$是从噪声图像$y_{t_0}$开始进行逆扩散过程得到的无化妆图像，${\hat{\theta }}_1$是需要优化的参数(这里我的理解是这是一个参数的集合向量，而非单个参数)。
• $t_{clean}$ 和 $t_{makeup}$是非化妆图像和化妆图像的文本描述，可以简单的设置为 “face without makeup” 和 “face with makeup” 。
  

为了保持生成图像的质量并保持自然，引入身份损失(face identity loss) $L_{id}$ 和 感知损失(perceptual loss) $L_{LPIPS}$ ，乘以权重得到总损失：

$$L_{total}={\lambda }_{MR}{L}_{MR}+{\lambda }_{id}{L}_{id}+{\lambda }_{LPIPS}{L}_{LPIPS}$$

总体来看，这一模块的功能是对带化妆的参考图像$y$进行卸妆，得到干净的参考图像$\hat{y}$。

3.2.2.图像引导妆容转移模块

我们希望根据$y$的妆容风格对原始人脸图像$x$进行化妆，得到$x^{\prime }$，并误导FR模型将$x^{\prime }$识别为另一身份$x^{\ast }$。

具体来看，首先用另一个预训练的扩散模型${ϵ}_{{\theta }_2}$通过扩散过程得到潜在噪声图像$x_{t_0}$，再通过反向扩散得到化妆后的图像$x^{\prime }$。为了保证化妆后的图像$x^{\prime }$具有参考图像$y$的妆容风格，在反向扩散过程中需要对${ϵ}_{{\theta }_2}$进行指导和微调。

基于clip的化妆损失
在卸妆阶段，从参考图像的化妆域到非化妆域的指导为$\Delta I_y=E_I(\hat{y})-E_I(y)$，将这个过程反向即可得到从非化妆域到化妆域的指导，即$\Delta I_{ref}=E_I(y)-E_I(\hat{y})$。对模型进行微调并得到带参考化妆风格图像的损失如下：

$$\begin{gathered} L_{MT}^{dir}=1-\frac{\Delta I_x\cdot \Delta I_{ref}}{||\Delta I_x||\cdot ||\Delta I_{ref}||} \\ \Delta I_x=E_I(\hat{x}({\hat{\theta }}_2))-E_I(x) \\ \Delta I_{ref}=E_I(y)-E_I(\hat{y}) \end{gathered}$$

• $E_I$是CLIP模型中的图像编码器，$x$是原始人脸图像，$\hat{x}({\hat{\theta }}_2)$是微调后的扩散模型${ϵ}_{{\theta }_2}$生成的带参考图像的化妆风格的化妆图像。

此外，还引入像素级化妆损失(pixel-level makeup loss) 对化妆的强度、颜色等进行约束。损失定义为：

$$L_{MT}^{px}=||x^{\prime }-HM(x^{\prime },y)||$$

• $x^{\prime }$是扩散模型得到的带参考风格的化妆图像，$y$是具有化妆的参考图像，$HM(\cdot )$代表直方图匹配(Histogram Matching)。

将这两个损失结合起来，得到指导被保护图像$x^{\prime }$生成的总损失：

$$L_{MT}={\lambda }_{dir}{L}_{MT}^{dir}+{\lambda }_{px}{L}_{MT}^{px}$$

综上，这些操作最终得到的是具有参考化妆风格的被保护图像，如下图所示。

综合攻击(Ensemble Attack)
在多个FR模型上进行微调，在对抗方向上进行引导，找到一个通用的对抗化妆域的方向。选择$k$个识别精度较高的预训练的FR模型，综合攻击的损失表达为：

$$L_{adv}=\frac{1}{K}\sum _{k=1}^K[1-cos(m_k(x^{\prime }),m_k(x^{\ast }))]$$

• $m_k$代表第$k$个FR模型的特征提取，$x^{\prime }$代表被保护的图像(具有化妆风格)，$x^{\ast }$代表冒充身份(误导FR识别为$x^{\ast }$)。
• 使用余弦相似度(Cosine Similarity)进行距离的度量。

通过这种方式可以提高模型可迁移性，提高了黑盒模型下的攻击成功率。

化妆无关信息的保存
为了使得生成的被保护图像$x^{\prime }$保持自然，在妆容转移过程中应尽量减少与妆容无关信息的转移。可以减少DDIM反演和采样的时间步长，以保留大多数与化妆无关的信息。

$$L_{vis}=L_{LPIPS}(x^{\prime },x)+{\lambda }_{l_1}||x^{\prime }-x||$$

损失$L_{vis}$能够指导生成的$x^{\prime }$保持自然，和原始图像尽可能接近。

综合以上所有的损失函数，最终得到图像引导妆容转移模块的总体损失为：

$$L={\lambda }_{MT}{L}_{MT}+{\lambda }_{adv}{L}_{adv}+{\lambda }_{vis}{L}_{vis}$$

总体的模型框架如下图所示。

简单来看，就是先对具有化妆风格的参考图像$y$进行卸妆，得到干净的图像$\hat{y}$。再将化妆风格转移到需要保护的原始人脸$x$上得到具有化妆保护的图像$x^{\prime }$，使得FR模型将$x^{\prime }$错误的识别为另一冒充身份$x^{\ast }$，从而在保持自然的情况下达到人脸隐私保护的目标。

4.实验

4.1.实验设置

数据集： 对于卸妆，从MT数据集随机抽取200张化妆的人脸图像进行卸妆处理；对于化妆转移，从CelebA-HQ数据集随机抽取200张人脸图像。测试集选择CelebA-HQ和LADN。

目标FR模型： 选择4种主流的FR模型，IR152, IRSE50,
FaceNet和MobileFace. 选取了其中的三个模型用于综合攻击训练模型，剩下的一个作为黑盒模型进行测试。

4.2.实验结果

表1对比了基于噪声的模型和基于化妆的模型黑盒攻击攻击成功率。与现有的最先进的技术相比，DiffAM的平均攻击成功率提高了12.98%。

表中评价指标为攻击成功率(Attack Success Rate, ASR)，即
$$ASR=\frac{成功攻击次数}{总攻击次数}$$
当黑盒FR模型将化妆后的保护图像$x^{\prime }$错误的识别为了冒充身份$x^{\ast }$时，视为进行了一次成功的攻击。在计算ASR时，将每个FR模型的错误接受率（FAR）设置为0.01。

表2比较了生成的保护图像的质量。DiffAM生成的对抗性化妆更自然，对像素级图像的影响更小。

图四（上图）是CelebA-HQ数据集上通过不同面部隐私保护方法生成的受保护面部图像的可视化。对于文本引导的化妆保护方式，使用文本提示(例如红色口红与红色眼影)来生成。

评价分数成为置信度分数，分数代表商业api判断被保护的图像和冒充图像的相似度，分数越高越相似。绿色和蓝色分别代表Face++和Aliyun的置信度分数。

从结果可以看出，DiffAM生成的受保护的图像保护成功率更高，且面部图像看起来更自然，没有明显的噪声模式。

5.代码实现

5.1.代码下载

原始论文GitHub代码地址
具体步骤可以参考文档中的README

首先将代码下载到本地，新建Anaconda环境

conda create -n diffam python=3.8
conda activate diffam

这里我个人使用的是pycharm编译器，在pycharm终端中激活环境，安装需要的包

pip install -r requirements.txt
pip install git+https://github.com/openai/CLIP.git

下载预训练的模型：预训练模型下载

下载并解压FR模型，MT数据集与目标图像：assets.zip下载

下载并解压 CelebAMask-HQ数据集：CelebAMask-HQ数据集下载

最终文件夹的应该像这样的
DiffAM
  └- assets
     └- datasets
     	└- CelebAMask-HQ
     	└- MT-dataset
     	└- pairs
     	└- target
     	└- test
     └- models
  └- pretrained
       └- celeba_hq.ckpt
       └- ...
  └- ...

5.2.快速实现

微调对抗性化妆转移的预训练扩散模型

python main.py --makeup_transfer --config celeba.yml --exp ./runs/test --do_train 1 --do_test 1 --n_train_img 200 --n_test_img 100 --n_iter 4 --t_0 60 --n_inv_step 20 --n_train_step 6 --n_test_step 6 --lr_clip_finetune 8e-6 --model_path pretrained/celeba_hq.ckpt --target_img 1 --target_model 2 --ref_img 'XMY-060'

• target_image: 选择需要被攻击的图像
• target_model: 对进行攻击的黑盒模型，作者此处提供了IRSE50, IR152, Mobileface, Facenet，此处设置target model为2，即使用IR152作为黑盒FR，其他三种模型用于训练。
• ref_img: 选择带有化妆的图像进行化妆风格的迁移，此处选择的图像是’XMY-060’，图像化妆风格见下图。
  
  完成后开始微调模型。模型训练结果将会保存在checkpoint文件夹中。

5.3.对单张图像进行化妆风格转移

这里以make up transfer为例，实现对原始图像进行化妆。实现代码如下：

python main.py --edit_one_image_MT --config celeba.yml --exp ./runs/test --n_iter 1 --t_0 60 --n_inv_step 20 --n_train_step 6 --n_test_step 6 --img_path {IMG_PATH} --model_path {MODEL_PATH}

需要将模型路径改为预训练的模型路径(不过似乎如果没有输入正确的模型路径，会自动替换为预训练的模型)，将图像地址改为需要进行化妆的原始图像。

在makeup_transfer.py文件中出现报错，需要对部分代码进行修改。将以下代码：

 img = img.resize((self.config.data.image_size,
                          self.config.data.image_size), Image.ANTIALIAS)                   

替换为：

img = img.resize(
            (self.config.data.image_size, self.config.data.image_size),
            Image.Resampling.LANCZOS)   # 替代 Image.ANTIALIAS

执行代码，原始人脸图像如下：

生成的带有化妆风格的被保护的图像如下：

使用预训练的IR152模型对这两张图像进行特征提取，并计算余弦相似度，最终结果得到两张图像的相似度为0.44.