用于低质量蒙面人脸识别的一致子决策网络

Consistent Sub-Decision Network for Low-Quality Masked Face Recognition

摘要

        提出了一种利用由多个dropout块组成的在线一致性评估结构来获得对应于人脸不同区域的子决策网络，以获得对应于不同面部区域的子决策，并通过加权双向KL散度来约束子决策，使网络集中在上面而没有遮挡的面部。此外，还进行知识蒸馏，以驱动蒙面人脸嵌入接近原始数据分布，以减轻信息丢失。实验表明，所提出的方法在公共蒙面人脸识别数据集（即 RMFD、MFR2 和 MLFW）上的性能优于基线。

创新点

        1）提出了一致的子决策网络来获得对应于不同面部区域的子决策，并通过加权双向KL散度来约束子决策，使网络更加集中于面部区域（上面的脸没有遮挡）。

        2）进行知识蒸馏，以驱动蒙面人脸嵌入接近原始数据分布，以减轻信息丢失。

模型

        使用 FaceX-Zoo为每个正常人脸图像生成蒙版人脸图像，以获得混合训练数据集。假设正常人脸图像集、混合人脸图像集和身份标签集，组成一对数据集 D 。两个样本 {x_i}^N,{x_i}^M表示为作为来自同一身份的正常人脸图像及其对应的蒙版人脸图像。

        所提出的一致子决策网络的结构。在图的上部，每个人脸被提取成特征图，作为dropout模块的输入以获得多个子决策，不同的颜色区分了具有不同遮罩盖的面部图像的 dropout 模块的输出。应用双向KL散度约束来自动确定子决策一致性的优化方向。在图的下部，使用预训练的正常人脸识别模型来为上面的学生网络提炼指导性知识。

A. 一致的子决策网络

        基于模拟的方法提出从未蒙蔽的面孔生成蒙蔽的面孔。然而，在这些模拟人脸中，仍然存在一些具有负遮挡的低质量样本，从而导致面部特征模糊或缺失。为了解决这个问题，利用由多个dropout块组成的在线一致性评估结构来获得对应于人脸不同区域的子决策。子决策受到加权双向 KL 散度的约束，使网络更多地集中在没有遮挡的上表面上，并提取更多的判别性特征。

        在线子决策一致性评估方法的结构。展平后的特征图通过 dropout 模块生成子决策。一致性是通过子决策之间的 KL 散度来衡量的。

        给定来自D的人脸图像X，首先使用特征图生成器提取输入人脸图像的特征图。然后特征图被展平并通过多个 dropout 块以获得对应于不同面部区域的子决策，这些子决策被收集，并且在实现中设置 n =3。由于已经证明，在网络上重复应用dropout可以近似高斯过程的不确定性，我们进一步将这种不确定性扩展到子决策。在子决策之间应用双向KL散度计算来确定一致性值C(X)。

        子决策一致性可用于从模拟蒙面图像中检测低质量样本。首先，计算子决策之间的分歧。然后，应用激活函数来计算每个输入人脸图像的一致性值。一致性得分输出是[0,1]之间的概率值。如图2所示，可以看到一致性可以应用于从模拟蒙面图像中检测低质量样本。

        子决策一致性可用于从模拟蒙面图像中检测低质量样本。值越大表示子决策一致性和图像质量越高。

        为此，知道低子决策一致性值对应于模拟人脸图像中的低质量样本。然而，不同的子决策侧重于具有不同识别信息的不同面部区域。因此，寻求迫使具有低识别信息的子决策逼近具有高识别信息的子决策，从而使网络更多地集中在上表面而没有遮挡。为了自动评估每个子决策的信息程度，应用概念分支的输出作为双向KL散度约束中的权重。

 B. 知识蒸馏

        正常人脸比蒙面人脸包含更多的识别性身份信息。寻求使蒙面人脸嵌入接近正常人脸嵌入，以减轻信息丢失。具体来说，使用预训练的模型来执行知识蒸馏。给定一对面部图像X^N,X^M，从教师和学生模型中获得正常人脸嵌入 f^N和蒙面人脸嵌入 f^M。为了充分利用不同的面部区域信息，进一步应用概念分支的权重来获得加权嵌入，可以表示为：

        其中，M_{teacher}是预训练模型的嵌入编码器，G是特征图生成器，D_i是第i个dropout块，w^i表示概念分支的输出。使用嵌入之间的余弦距离方法来进行知识蒸馏作为正则项：

        为了保持类间差异和类内聚合，我们使用 CosFace作为我们的分类损失函数，它可以表示为

        总体损失函数公式如下：