【论文笔记】Face Anonymization by Manipulating Decoupled Identity Representation

解耦：disentanglement

解耦的特征中，每一个维度都表示具体的、不相干的意义。其中最重要的是要让学到的表征具备人类可理解的意义。实际上在这个领域中，并没有一个标准的定义。概念本身也是不断发展的，甚至每个学者发表论文的时候还要专门提出一个指标来定义解耦。但是最核心且不变的诉求是要让表征可读！

Abstract

背景：人类生物信息的重要性提高，其中人脸匿名化占据重要地位。

目标：提出一种新的方法anonymous identity generation（AIG）达到人脸匿名化的目的，同时你可以保持与原始图像更加相似。

Introduction

介绍：实现人脸匿名化的方法

1.传统方法：包括模糊、遮蔽等可以再很大程度上消除给定的身份，但是这些方法会严重降低图像质量。 执行直接人脸交换也可以有效的保护目标身份，但可能对提供源身份的人造成伤害。

2.去身份化：孙等人提出一个基于图像修复的去身份方法。

​ Ganfni等人将人脸嵌入链接到编码解码架构的瓶颈中，并且优化一个多级感知损失以修改 与身份相关的高级特征，并且保持低级特征不变。

​ CIAGAN利用一个条件生成对抗网络，并且以随意的身份引导匿名化人脸的生成过程。

以上方法虽然效果卓越，但全部都有如下缺点：

1.通过这些方法的人脸不是缺乏多样性就是需要额外的信息

2.原始面部的修改程度可控性差

3.人脸的属性没有很好的保留。

​

方法：构建一个基于生成对抗网络的人脸身份解耦模型，并使用来自相同和不同人脸图像作为训练数据去学习身份解耦。模型引入了条件多尺度重构损失conditional multi-scale reconstruction loss（CMR）来有效的训练和保持原始图像的属性。为了彻底解耦人脸表示，使用预先训练好的人脸嵌入网络去约束解耦身份表示到一个容易操纵的单位球空间。为了精确地操控身份表示，我们提出Anonymous Identity Generation (AIG)来精确操纵身份向量，能够在原始人脸进行微小改变的情况下成功进行人脸匿名化。

Related work

1.人脸属性编辑（Identity preserved face editing）

主流研究方向：

1.人脸老化（face aging）：自然地改变脸部的明显年龄。

2.人脸表情编辑（Face expression editing）：操纵面部动作来实现表情修改

3.人脸重现（Face reenactment）：使用一个确定的源面部来完全控制目标面部的姿势和动作

以上工作大多利用生成对抗网络模型来学习相应的条件人脸生成，并且通过控制条件输入和潜在代码来间接控制生成人脸的属性。

2.人脸替换（Face swapping）

将源面部的身份替换为目标面部。（对个人隐私安全造成巨大的潜在威胁）

1.FSGAN：使用几个不同的生成器来估计重新渲染的人脸及其分割图，最后混合生成交换的人脸图像。

2.FaceShifter利用SPADE和AdaIN来嵌入目标人脸的外观特征和源人脸的身份，并使用属性掩码将他们融合，生成逼真的交换人脸。

3.人脸匿名化（Face anonymization）

简单的人脸匿名化操作：掩蔽、镶嵌、模糊等。会破坏面部图像的可用性，不利于正常交流。

目前人脸匿名化更强调保护隐藏身份，对其他人脸属性的修改最小。

1.早期的方法：图像失真（image distortions）,图像融合（ image fusion）、远距离人脸选择（distant face selection ）

2.稍后的方法：

Jourabloo等人利用属性分类网络提取人脸的的个体属性参数，并通过优化不断更新，使得生成的人脸不被识别为原始人脸。

Meden等人提出一种生成模型，该模型将图库数据中具有不同身份的k个人脸进行组合，以生成匿名人脸。

Ren等人提出了一种隐私保护动作检测模型，该模型使用人脸修改器来改变输入人脸的身份，并允许动作检测正常进行。

Sun等采用两阶段训练方法，第一阶段基于3D人脸参数或地标检测进行人脸身份替换，第二阶段进行人脸图像修复。这两种方法都使用两阶段训练和额外的人脸注释，这使得它们不太适用

Hukkelås等人提出了一种从噪声中生成匿名人脸的生成架构，但其生成结果不够真实。

Gafni等人