具有生成数据增强和域约束排名的蒙面人脸识别

Masked Face Recognition with Generative Data Augmentation and Domain Constrained Ranking

摘要：提出了一种基于 MFSR（数据集） 的身份感知掩模 GAN网络（IAMGAN），用于从标准全脸图像生成合成掩模面部图像，作为训练数据短缺的补救措施； 一种新颖的域约束排名损失旨在学习蒙面人脸识别的判别性深层特征。

用于生成蒙面人脸的身份感知蒙版 GAN

        给定一个带有全脸图像的人脸识别数据集𝐹和一个没有任何身份信息的蒙版人脸数据集𝑀（例如MFSR-SEG），IAMGAN的目标是使用蒙版信息从𝐹中相应的全脸图像生成合成蒙版人脸图像的𝑀。生成的人脸图像应保留除屏蔽区域之外的特定于身份的细节。

IAMGAN 由两部分组成：

• 循环蒙面人脸生成模块

  全脸图像==>相应的蒙面人脸。

  （由于蒙版图像和全脸图像之间存在巨大的域差异且缺乏配对训练数据，单独的循环生成器可能会生成完全丢失与身份相关的面部细节的图像）

• 分割引导的多级身份（multi-level idenity）保留模块

  蒙版人脸图像输入分割网络以获得其蒙版区域，然后将语义区域引导的多级身份保留损失应用于全脸图像和生成的蒙版图像，以确保生成的图像保留身份信息在身份级别和像素级别上。

        给定全脸图像 𝑓 ε 𝐹，𝐺𝐹→𝑀 从 𝑓 生成蒙版脸部图像 𝑓𝑚。 𝑆 预测二进制掩模区域 𝑆(𝑓𝑚)（像素值 0 和 1 分别表示蒙版和非蒙版区域），通过使用分割引导的身份保留模块。 𝐿𝑐𝑙𝑠 使用分类器 𝐶 对 𝑓 ⊙ 𝑆(𝑓𝑚) 的身份进行分类，并强制 𝑓𝑚 ⊙ 𝑆(𝑓𝑚) 保留相同的身份。 𝐿𝑟𝑒𝑐 用于将图像特定的细节保留在像素级别。

        为了解决蒙面面孔和全脸之间巨大的类内差异，为每个类别学习两个中心，一个用于全脸图像，另一个用于蒙面图像。然后，使用域约束排名损失（DCR）来迫使蒙面人脸的特征更接近其相应的全脸中心，通过这样做，模型能够同时分离不同的身份，并学习从蒙面面部和全脸图像中提取身份特定特征。

损失函数

• 蒙面人脸生成模块

        给定全脸图像𝑓 ε 𝐹，蒙面人脸生成模块旨在从𝑓 生成蒙面人脸图像。𝐺𝐹→𝑀和𝐺𝑀→𝐹分别是从𝐹到𝑀和𝑀到𝐹的域映射函数。 𝐷𝐹 和 𝐷𝑀 是 𝐹 和 𝑀 的两个域鉴别器。蒙面人脸生成模块的目标函数如下：

其中，L𝑎𝑑𝑣是标准对抗性损失，L𝑐𝑦𝑐是循环一致性损失。 𝜆1 是控制 L𝑐𝑦𝑐 重要性的超参数。

• 身份保护模块

        生成的蒙面人脸图像中的面部身份信息𝑓𝑚=𝐺𝐹→𝑀（𝑓）仅通过L𝑀𝐹𝐺可能会变得不明确。为了保留尽可能多的身份相关信息，身份保留模块中引入了三个组件：

1）掩码区域分割网络𝑆，用于获取𝑓𝑚的掩码区域

2）带有损失的身份分类器𝐶 L𝑐𝑙𝑠，以减少身份级别遮挡区域外𝑓和𝑓𝑚的外观变化

3）重建损失L𝑟𝑒𝑐，以进一步减轻像素级别的细节变化

        身份分类器𝐶旨在将𝑓的掩码外区域分类为其身份标签𝑙𝑓，并强制𝑓𝑚的掩码外区域保留相同的身份。损失函数 L𝑐𝑙𝑠 定义为

        是交叉熵损失，{𝐶(·)}𝑖 是属于身份𝑖 的输入的估计概率，而 ⊙ 表示逐元素乘法。在训练过程中，𝐶的参数是通过最小化L𝐶𝑐𝑙𝑠来学习的，而L𝐺𝑐𝑙𝑠与L𝑀𝐹𝐺一起优化来学习𝐺𝐹→𝑀的参数。

        L𝑐𝑙𝑠 迫使生成器𝐺𝐹→𝑀 保留身份相关信息，像素级重建损失 L𝑟𝑒𝑐 公式为

IAMGAN 的总体目标函数定义为

        其中，𝜆2用于平衡损失权重。L𝑎𝑑𝑣是标准对抗性损失，L𝑐𝑦𝑐是循环一致性损失，身份分类器L𝑐𝑙𝑠，重建损失L𝑟𝑒𝑐。

蒙面人脸识别的域约束排序

        一旦有了生成的蒙面人脸数据和相应的带有相关身份标签的完整人脸数据，就可以以监督的方式学习 MFR 模型。为了解决大的类内方差问题，定义了两组特定于域的身份中心𝐶𝑓和𝐶𝑚，其中𝐶ℓ𝑖𝑓和𝐶ℓ𝑖𝑚分别代表身份ℓ𝑖的全脸和蒙面图像的中心。令 𝜙 (𝐼) 为输入图像 𝐼 的深度特征表示，所提出的 DCR 包含单域排名损失和跨域排名损失。

        单域排名损失，单域排名损失旨在区分同一域内的身份。

        跨域排名损失，跨域排名损失旨在将一个域的图像与另一个域的图像进行匹配。