【阅读笔记】人脸隐私保护CLIP2Protect

【阅读笔记】 CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

0.介绍

原始论文地址

论文代码地址

基于深度学习的人脸识别引起了严重的隐私问题，一些未经授权的人脸识别系统（FR system）会对用户进行追踪，因此需要一种有效的方法来保护面部隐私防止未知FR系统的侵害。

一个理想的面部隐私保护算法必须在自然（naturalness）和隐私保护（privacy protection）间进行平衡，即受保护的图像必须与原始人脸图像相近，能够被人类观察者认出，同时欺骗未知的人脸识别系统。

1.相关工作

混淆方法（Obfuscation Methods）：利用掩码、滤波和图像变换等降低原始人脸图像的质量，缺点是会产生不希望的伪影（artifacts），降低用户的体验。

基于噪声的对抗性攻击（Noise-based Adversarial Attacks）：对抗性攻击旨在对输入的人脸图像加入针对性的微小的扰动，从而让FR模型产生错误的输出结果。缺点是使得产生的输出图像带有噪声，影响用户体验。

无限制性对抗性攻击（Unrestricted Adversarial Attacks，UAAs）：不受扰动范围的约束，可以引起较大且有意义的扰动。

视觉-语言建模方法（Vision-Language Modelling）：基于文本引导的图像处理方法，利用文本提示操作图像（DiffusionCLIP，StyleGAN等）。

2.本文提出的方法

希望在不影响用户体验的情况下，保护面部隐私，免受未知FR模型（black-box FR）的影响。该方法的核心是利用预训练的生成模型（Generative Model，如GAN）在低维潜在空间（low-dimensional latent space）中进行搜索，以生成具有对抗性的受保护面部图像。对于这里的低维潜在空间，我个人的理解是将原始图像映射到低维向量的空间，如224*224*3的原始图像被映射为768维的特征向量。 同时利用文本提示的方式引导自然的化妆扰动，保持自然的同时保护隐私。

2.1前期工作

论文中，$\mathbf{x}$代表原始的人脸图像，$f(\mathbf{x})$代表FR模型提取的图像的归一化特征，$D({\mathbf{x}}_1,{\mathbf{x}}_2)=D(f({\mathbf{x}}_1),f({\mathbf{x}}_2))$代表两张图像之间的相似度。一般来看，FR系统有两种工作方式：验证(verification)和识别(identification)。保护方法应该要同时针对这两种情况来保护用户的身份，保护的方式可以分为冒充(impersonation)和躲避(dodging)。

验证系统(verification system)：当$D({\mathbf{x}}_1,{\mathbf{x}}_2)$小于某个阈值时，FR系统会将两张图像判断为是同一个人。冒充(impersonation) 意味着被保护的图像与另一张特定身份的图像像匹配（假匹配false match），躲避(dodging) 意味着被保护的图像和这个人的其他图像不匹配（假不匹配false non-match）。

识别系统(identification system)：FR系统将输入图像$\mathbf{x}$与一组人脸图像（图像库）进行比较，输出与$\mathbf{x}$最相近的身份。类似的，冒充(impersonation) 意味着$\mathbf{x}$与图像库中另一张特定身份的图像匹配，躲避(dodging) 意味着防止$\mathbf{x}$与图像库中同一人的其他图像匹配。

因此，对于原始图像$\mathbf{x}$，目标是生成受保护的图像${\mathbf{x}}^p$和冒充的图像${\mathbf{x}}^t$，使得$D({\mathbf{x}}^p,\mathbf{x})$很大(successful dodging attack)而$D({\mathbf{x}}^p,{\mathbf{x}}^t)$很小(successful impersonation)。同时希望图像的真实标签$O()$满足$O(x)\ne O(x^t)$，且希望最小化$H(x^p,x)$,$H$量化了相对于原始图像$\mathbf{x}$引入的不自然程度。由于希望欺骗黑箱FR模型，因此$D$的具体计算公式是未知的。整个优化过程算法如下：

min ⁡ x p L ( x p ) = D ( x p , x t ) − D ( x p , x ) H ( x p , x ) ≤ ϵ \min_{\boldsymbol{x}^p} L(\boldsymbol{x}^p) = D(\boldsymbol{x}^p,\boldsymbol{x}^t) - D(\boldsymbol{x}^p,\boldsymbol{x}) \\ H(\boldsymbol{x}^p,\boldsymbol{x}) \leq \epsilon