人脸隐私：4.Face Identity Transformers

Password-conditioned Anonymization and Deanonymization with Face Identity Transformers

提出一种新的人脸身份转换模块，能够对视觉库中的人脸进行自动的基于密码的匿名化和去匿名化操作。主要目的有三个：1.在匿名化后移除人脸身份信息；2.当给定正确密码时能够恢复原人脸；3.在给定一个错误密码时返回一张错误且真实人脸。实验表明，与现有匿名化方法相比，我们的方法能够在不牺牲隐私性的情况下进行多模式基于密码的匿名化和去匿名化操作。

编辑隐私敏感数据（如人脸身份信息）能够减轻对隐私的担忧，但是当前的研究均是单向的，即图像经过匿名化后无法恢复到原图像。需要平衡隐私安全与可访问性。提出的人脸身份转换模块能够同时进行匿名化和去匿名化操作并同时保留隐私性：设计一个离散密码空间，该空间内的密码是改变身份的条件。给定一张原始人脸，人脸身份转换器能够使用不同的密码输出不同的匿名人脸图像。给定一张匿名化人脸，如果给定正确密码就能够恢复为原始图像。进而当给定错误的密码时将输出一张错误的人脸与原人脸不同，仍具有隐私性。每一个错误密码均映射为一个独一无二的身份。

为了迫使人脸身份转换器使用不同的密码输出不同的匿名化人脸，我们优化一个多任务学习目标。

• 最大化使用不同密码的匿名化人脸对之间的特征级不相似性，以此来迷惑人脸分类器。

• 为了迫使它使用正确密码能够恢复为原人脸，训练模型进行匿名化-恢复为原身份当使用正确密码时，否则产生一个新的身份。

• 最大化匿名化人脸与使用错误密码的去匿名化人脸之间特征不相似性确保身份改变。

人脸身份转换器$T$以一张人脸图像$I\in \Phi$和一个用户定义的密码$p\in P$作为输入，其中$\Phi$和$P$为图像域和密码域。$T_{p}I$定义为使用密码$p$对输入图像$I$操作后的变换图像。人脸身份转换器应有属性：

• 最小内存消耗：考虑到大多相机系统的内存空间限制，一个单一的人脸身份转换器能够同时进行匿名化和去匿名化操作。

• 真实性图像：即在原图像域内进行变换，
  $$T_{p}I\in \Phi ,\forall p\in P,\forall I\in \Phi$$

• 背景兼容：变换图像的背景$B(\cdot )$应与原图一样，
  $$B(T_{p}I)=B(I),\forall p\in P,\forall I\in \Phi$$

• 使用密码进行匿名化：$f:\Phi \to \Gamma$定义为人脸图像到身份信息的函数映射，基于密码$p$来进行匿名化，
  $$f(T_{p}I)\ne f(I),\forall p\in P,\forall I\in \Phi$$

• 使用反密码进行去匿名化：将用于匿名化的密码的加法逆模型建模作为去匿名化的正确密码，使用相同的转换器用于去匿名化，模型$T_{-p}=T_p^{-1}$，
  $$f(T_{-p}{T}_{p}I)=f(T_p^{-1}{T}_{p}I)=f(I),\forall p\in P,\forall I\in \Phi$$

• 使用错误的逆密码得到错误的去匿名化：当使用一个错误的逆密码时得到的身份应与原始身份和匿名化身份不同，
  $$\begin{gathered} f(T_{p^{\prime }}{T}_{p}I)\ne f(I),\forall p,p^{\prime }\in P,p^{\prime }\ne -p,\forall I\in \Phi \\ f(T_{p^{\prime }}{T}_{p}I)\ne f(T_{p}I),\forall p,p^{\prime }\in P,p^{\prime }\ne -p,\forall I\in \Phi \end{gathered}$$

• 多样性：使用不同的密码图像$I$应当被转换到不同的身份，
  $$f(T_{p_1}I)\ne f(T_{p_2}I),\forall p_1,p_2\in P,p_1\ne p_2,\forall I\in \Phi$$

人脸身份转换模块$T$是一个条件GAN模型，使用一个多任务学习目标进行训练，以输入图像$I$与输入密码$p$为条件。$p$与常用的随机噪声$z$不同，$z$是试图对输入数据分布进行建模，而$p$让变换模块拥有所需的隐私保护属性。

使用一个$N$位 p ∈ { 0 , 1 } N p\in\{0,1\}^N p∈{0,1}N作为密码，共包含$2^N$个不同的密码。给定图像$I\in {\mathbb{R}}^{H\times W\times 3}$，以深度方向串联构成变换器输入$(I,p)\in {\mathbb{R}}^{H\times W\times (3+N)}$，其中$p$在每一个像素位置被复制。为了使转换器根据输入密码改变身份，设计了一个辅助网络$Q(I,T_{p}I)=\hat{p}$，学习预测从输入到转换图像之间的嵌入密码，最大化输入密码与在图像域内改变的身份之间的互信息。将交叉熵损失用与分类器$Q$，定义为${\mathcal{L}}_{aux}(T,Q)$。

为了诱导多样高层身份变化，提出一个显式特征不相似损失。使用一个人脸识别模型$F$提取深度人脸嵌入，当它们与不同的密码相关时，最小化余弦损失，
$${\mathcal{L}}_{dis}(M_1,M_2)=max(0,cos(F_{embed}(M_1),F_{embed}(M_2)))$$
$M_1$与$M_2$是两个使用不同密码的人脸变换图像。对余弦相似小于0的图像对不进行惩罚，因为此时两者已经足够不同。

该损失应用于：利用不同密码的匿名化人脸；给定不同且错误密码的去匿名化人脸；匿名化人脸与错误恢复人脸，
$$\begin{array}{rl}{\mathcal{L}}_{feat}(T)& ={\mathbb{E}}_{(I,p_1\ne p_2)}{\mathcal{L}}_{dis}(T_{p_1}I,T_{p_2}I)\\ & +{\mathbb{E}}_{(I,p_1^{\prime }\ne p_2^{\prime },p_1^{\prime }\ne -p,p_2^{\prime }\ne p)}{\mathcal{L}}_{dis}(T_{p_1^{\prime }}{T}_{p}I,T_{p_2^{\prime }}{T}_{p}I)\\ & +{\mathbb{E}}_{(I,p^{\prime }\ne -p)}{\mathcal{L}}_{dis}(T_{p}I,T_{p^{\prime }}{T}_{p}I)\end{array}$$
多任务目标用于进一步辅助身份改变、身份恢复和图像真实性。

• 人脸分类对抗损失。目的是改变输入人脸身份，将其应用于变换图像$T_{p}I$和使用错误恢复密码的重建人脸$T_{p^{\prime }}{T}_{p}I$，
  $$\begin{array}{rl}{\mathcal{L}}_{adv}(T,F)=& -{\mathbb{E}}_I{\mathcal{L}}_{CE}(F(I),y_I)-{\mathbb{E}}_{(I,p)}{\mathcal{L}}_{CE}(F(T_{p}I),y_I)\\ & -{\mathbb{E}}_{(I,p^{\prime }\ne p)}{\mathcal{L}}_{CE}(F(T_{p^{\prime }}{T}_{p}I),y_I)\end{array}$$
  其中$F$为人脸分类器，$y_I$为人脸身份标签，${\mathcal{L}}_{CE}$为交叉熵损失。损失推动转换人脸有一个不同的身份。需要一个监督信号$y_I$。

• 重建损失。使用$L_1$重建损失用于去匿名化，
  $${\mathcal{L}}_{rec}(T)=\Vert T_{-p}{T}_{p}I-T{\Vert }_1$$
  仅使用$L_1$损失，重建图像通常模糊，因此，我们对重建人脸添加一个人脸分类损失${\mathcal{L}}_{rec\_cls}$，迫使转换器恢复高频身份信息。

• 背景保留损失。对每一张转换人脸都尽量保留原始背景信息，为此使用另一个$L_1$损失(低权重)，
  $${\mathcal{L}}_1(T)=\Vert T_{p}I-I{\Vert }_1+\Vert T_p^{\prime }{T}_{p}I-I{\Vert }_1$$

• 图像真实性损失。对生成图像使用图像真实性损失${\mathcal{L}}_{GAN}$帮助对真实人脸进行建模。使用PatchGAN来约束判别器$D$关注于局部图像块的结构，为了稳定训练，使用LSGAN，
  $$\begin{gathered} \underset{D}{\max }{\mathcal{L}}_{GAN}(D)=-\frac{1}{2}{\mathbb{E}}_I[(D(I)-1{)}^2]-\frac{1}{2}{\mathbb{E}}_{(I,p)}[D(T_{p}I{)}^2] \\ \underset{T}{\min }{\mathcal{L}}_{GAN}(T)={\mathbb{E}}_{(I,p)}[(D(T_{p}I)-1{)}^2] \end{gathered}$$

总目标损失为：
$$\begin{array}{rl}\mathcal{L}& ={\lambda }_{aux}{\mathcal{L}}_{aux}(T,Q)+{\lambda }_{feat}{\mathcal{L}}_{feat}(T)\\ & +{\lambda }_{adv}{\mathcal{L}}_{adv}(T,F)+{\lambda }_{rec\_cls}{\mathcal{L}}_{rec\_cls}(T,F)\\ & +{\lambda }_{rec}{\mathcal{L}}_{rec}(T)+{\lambda }_{L_1}{\mathcal{L}}_{L_1}(T)+{\mathcal{L}}_{GAN}(T,D)\end{array}$$
通过优化最小-最大问题来获得人脸转换模块：
$$T^{\ast }=\arg \underset{T,Q}{\min }\underset{D,F}{\max }\mathcal{L}$$
训练时，对每一张输入$I$，随机采样两个不同的密码用于匿名化和两个错误的密码用于错误恢复，然后对生成的图像对以及匿名化人脸和错误重建分别应用${\mathcal{L}}_{dis}$。训练中辅助网络及后台会占用许多GPU内存，这会限制批大小。基于对称性提出一种策略：除了特征不相似损失，我们仅对第一个匿名化和第一个错误恢复使用其他损失。采用两步训练策略。

推理时，转换器$T$输入一个用户定义密码和一张人俩，然后进行匿名化并保存。在整个处理过程中，原始图像和密码不会被保存在磁盘上。