人脸隐私：3.APF

Adversarial Privacy-preserving Filter

提出一种端云协同对抗攻击解决方案以满足隐私性、实用性和不可访问性的需求。该解决方案主要由三个模块组成：

• 图像特定的梯度生成，在客户端使用压缩探针模型提取图像特定的梯度；
• 对抗梯度转换，微调在服务器中的图像特定的梯度；
• 通用对抗扰动增强，附加与图像无关的扰动以得出最终的对抗性噪声。

本文的目的是在不影响用户照片分享体验的前提下保护用户肖像隐私，需要满足两点：隐私性，无法从分享的人脸图像中获取识别信息；实用性，不能破环图像的质量。对抗攻击满足以上要求：1.对抗攻击的直接结果是误导模型预测，欺骗恶意的人脸识别模型；2.引入的对抗扰动对于人类视觉微不足道，能够保留图像的视觉和有效性。因此探索对抗攻击来进行隐私保护：在分享图像之前向原图像中添加对抗扰动，以误导恶意人脸识别程序。

尽管在照片共享服务中分享对抗人脸图像能够保证隐私保护，但是在生成对抗图像中仍存在隐私泄露风险。对抗攻击包含复杂模型以及大量计算，将原始人脸图像上传到隐私保护滤波服务器上处理过程有可能泄露原图像信息。因此对于隐私保护滤波有第三个要求：不可访问性，原始图像仅能在用户端获取。为了解决该问题，提出了端云协同对抗攻击解决方案，原始图像仅在用户端使用一个压缩探针模型提取图像特定的梯度信息，该信息在云端使用先进模型进行微调以生成最终的对抗噪声。该方案解决了用户端算力短缺与云端隐私泄露的矛盾。主要贡献：

• 使用对抗攻击来满足隐私保护隐私性与有效性的需求；
• 提出端云协同对抗攻击框架来解决额外的不可访问性要求；
• 将通用对抗扰动于图像相关的扰动集成，提高隐私保护的能力。

---

符号约定：

$\mathbf{x}$：原始图像

${\mathbf{x}}_e$：注册图像

$f_{\theta }$：人脸识别模型，参数为$\theta$

$g$：由探针模型生成的朴素梯度

$\tilde{g}$：由服务器模型生成的梯度

$\hat{g}$：转移梯度

$u$：通用扰动

$\hat{u}$：增强通用扰动

$s$：增强对抗噪声

$ϵ$：每一个像素的最大改变限制

$d$：距离函数

$L$：损失函数

$T$：梯度转换模块

$E$：增强模块

$APE\_g$：基于朴素梯度的对抗图像

$APF\_\hat{g}$：基于转换梯度的对抗图像

$APF\_s$：基于增强对抗噪声的对抗图像

$Images\_u$：基于通用扰动的对抗图像

给定一张原始图像$\mathbf{x}$，假设人脸识别模型$f_{\theta }$输出$l$维向量作为嵌入特征$f_{\theta }(\mathbf{x})$，${\mathbf{x}}_e$为注册图像，当两张图像之间的距离$d(f_{\theta }(\mathbf{x}),f_{\theta }(\mathbf{x}))$小于一个确定的阈值时，两张图像被评定为同一主体。本文设计对抗隐私保护滤波器能够产生对抗噪声$s$，使得对抗样本$\mathbf{x}+s$在视觉上与$\mathbf{x}$相同，但是从人脸识别模型$f_{\theta }$的角度属于不同的个体。在保证图像质量的前提下保护肖像隐私。

该框架主要由三部分构成：用户端、隐私保护服务器云端以及照片分享服务。给定一张肖像，首先由用户端提取图像特定的梯度，然后发给隐私保护服务器用于增强以获得对抗噪声，经过增强对抗噪声的扰动后，对抗肖像照片能够欺骗潜在的人脸黑客。

核心解决方案是一个端云协同对抗框架，由三个算法模块组成，部署在相应的用户端和服务器云端。

1. 图像特定的梯度生成

   为了遵从不可访问性需求，用户原始人脸图像应当不能上传到云服务器以避免隐私泄露。然而当前大多数对抗攻击太复杂而无法部署在用户端，因此，在用户端使用一个压缩模型从原始图像中提取初步信息，输入到云端。

   将压缩模型视为探针模型来提取图像特定的梯度$g$。允许使用不同的对抗攻击算法，这导致在相同最大扰动的情况下$g$有不同的强度。实验中会讨论不同的对抗梯度提取算法的影响。以FGSM为例介绍梯度提取过程，
   $$g=ϵ\cdot sign({\nabla }_{x}L(x,x_e;\theta ))$$
   其中${\mathbf{x}}_e$为相应的注册图像，$\theta$为网络参数，$ϵ$确保生成的梯度在$L_{\infty }$空间内位于$\epsilon $球内。$L(\cdot)$为损失函数，衡量原始图像与注册图像之间的距离：
   $$L(x,x_e;\theta )=-d(f_{\theta }(x),f_{\theta }(x_e))$$
   $d()$为欧式距离。

2. 对抗梯度转换

   探针模型的结构与参数与云端服务器不同，为了对齐两者之间的图像梯度，提出了梯度转换模块$T$，定义为
   $$\hat{g}=T(g)$$
   将图像转换模块视为一个图像到图像转换网络，使用U-Net架构，训练优化问题为
   $$\underset{{\theta }_T}{\min }\Vert \hat{g}-\tilde{g}{\Vert }_2$$
   其中$\tilde{g}$由服务器模型生成的梯度。

   潜在的黑客可能会使用多个人脸识别模型，本质上是一个黑盒对抗攻击问题。对抗扰动在模型之间是可转移的：如果一张对抗图像对多个模型有效，那么它也有可能转移到其他模型上。基于此，为了提高对未知模型的性能，我们实现梯度转换模块不仅适用于一对一转换也适用于一对多。

   给定$K$个已知人脸识别模型及对应的梯度${\tilde{g}}_1,\cdots ,{\tilde{g}}_k$，重新表示上述公式，用${\tilde{g}}_{ensemble}$取代$\tilde{g}$：
   $${\tilde{g}}_{ensemble}=\sum _{k=1}^K{\alpha }_k{\tilde{g}}_k$$
   其中${\alpha }_k$为集成权重且$su{n}_{k=1}^K{\alpha }_k=1$。$K$越大，模型的泛化能力越强，但是过大的$K$会导致计算量增大，实验中选择$K=2,{\alpha }_k=1/2$，选择三个最先进的人脸识别模型，两个用于训练，一个用于测试。

3. 通用对抗扰动增强

   将图像特定信息和图像无关信息集成来提高对抗扰动的性能。通用对抗扰动$u$会导致从数据分布$\eta$中采样的大多数图像标签改变：
   $$\hat{C}(x+u)\ne \hat{C}(x)x\sim \eta$$
   其中$\hat{C}$为分类器，我们期望通用对抗扰动$u$能够提供一个固定的图像无关扰动，使被检查人脸图像原理其他人脸图像，而不是直接误导图像分类器。朴素通用扰动如下：
   $$u=\underset{u}{\max }\sum _{i=1}^n\sum _{j=1}^{n}d(f_{\theta }(x_i+u),f_{\theta }(x_j))$$
   其中$n$为数据集中的图像数量。

   为了将两者结合，进一步设计一个增强模块使得通用扰动$u$的域与$\hat{g}$的域相适应。增强模块$E$包含一个尺度变换层和一个$1\times 1$卷积层，定义为：
   $$\hat{u}=E(u)=conv(\beta \cdot u+\gamma )$$
   其中$\beta ,\gamma$为训练参数，综合优化问题包含两个模块，
   $$\underset{{\theta }_T,{\theta }_E}{\max }d(f_{\theta }(x+cli{p}_{ϵ}(\hat{g}+\hat{u})),f_{\theta }(x_e))$$
   同理，使用集成对抗攻击，用$K$个人脸识别模型计算$\tilde{f}(\cdot )$取代$f_{\theta }(\cdot )$：
   $$\tilde{f}(\cdot )=\sum _{k=1}^K{\alpha }_k{f}_k(\theta )$$
   网络E与T使用以上最终目标函数进行求解优化。E的输出$\hat{u}$与T的输出$\hat{g}$相加得到$s$。云端输出$s$返还给用户并加到原始图像中以推导隐私保护图像。

评价指标设计

针对隐私保护和图像质量设计分别设计评价指标，对于前者，使用标准攻击成功率(ASR)作为评估指标，
$$ASR=\frac{N_{w/o}-N_{w/}}{N_{total}}$$
其中$N_{w/o}$与$N_{w/}$分别为使用/不适用扰动正确识别人脸的数目。

计算原始图像与扰动图像之间的结构相似指数(SSIM)衡量图像质量，
$$SSIM(x,y)=\frac{(2{\mu }_x{\mu }_y+c_1)(2{\sigma }_{xy}+c_2)}{({\mu }_x^2+{\mu }_y^2+c_1)({\sigma }_x^2+{\sigma }_y^2+c_2)}$$