利用辅助未标记数据增强无约束人脸识别《Boosting Unconstrained Face Recognition with Auxiliary Unlabeled Data》

现有问题：由于数据集中的人脸通常包含有限的变化程度和类型，因此训练的模型结果难以推广到真实环境中的无约束人脸数据集。虽然收集较大变化程度的已标记人脸可能会有所帮助，但由于隐私安全和计算成本的原因导致其不可行。相比之下，从不同域中获取大量未标记的人脸更容易，这可以用来规范人脸表示的学习。

本文方法：使用未标记的人脸来学习可泛化的人脸表示方法，其中我们假设未标记图像既不能访问身份标签，也不能访问域标签。

为了实现目标，本文提出以下问题：

（1）通过引入辅助未标记数据更多的多样性，是否有可能提高模型对无约束人脸的泛化性能？

（2）需要什么样的未标记数据，需要多少未标记数据？

（3）使用未标记的数据我们可以实现多大的性能提升？

本文的贡献：

（1）一种半监督学习框架，用于辅助未标记数据泛化人脸表示。

（2）一种多模式图像迁移模块，以实现数据驱动的增强和提升标记训练样本的多样性。

（3）实验结果表明，未标记数据的正则化有助于提高具有挑战性的测试数据集（如IJB-B、IJBC和IJB-S）的识别性能。

 

1、相关工作

（1）半监督学习

半监督学习主要分为四类：

a、伪标签方法（使用经过训练的模型为未标记的数据生成标签，然后将其用于训练）。——主要对标记数据和未标记数据共享相同标签空间的分类任务有效。

b、时间集合模型维护不同版本的模型参数，作为当前模型的教师模型。

c、一致性正则化方法对未标记数据应用某些类型的增强，同时确保输出预测在增强后保持一致。

d、自监督学习最初是为无监督学习而提出的，最近被证明对半监督学习也是有效的。

与这四类半监督学习方法相比，本文的问题在两种异质性意义上有所不同：标记和未标记数据之间的不同领域和不同身份。这些差异使得许多经典的半监督学习方法不适合我们的任务。

（2）领域自适应和泛化

      在域适应中，有一个源域数据集和一个固定目标域数据集。如果目标域未标记，则会导致无监督的域自适应设置。所以目标是改进目标域上的性能，以便与源域上的性能相匹配。这是通过减少特征空间中两个数据集之间的域差距来实现的。

问题：每当有新的目标域时，就需要获取新的数据集并训练新的模型。在域泛化中，给一组来自不同域的标记数据集。该模型是在这些数据集上联合训练的，因此它可以更好地推广到看不见的领域。

       我们的问题介于域泛化和无监督域自适应之间：我们希望将模型泛化到更广泛的域，但我们使用其他来源的未标记数据来实现这一目标，而不是使用多域标记数据。

2、算法模型 

        通常在人脸特征学习中，给定一个大的标签数据集,其中和分别表示人脸图像和身份标签。由于f只在X定义的域上进行训练，就难以泛化到非约束的设置中。本文将从不同来源收集到的可利用的无标签数据集假设为。

         然而，这些子域标签可能在实际应用中不可用，因此我们不假设可以访问它们，而是寻求能够自动利用这些隐藏子域的解决方案。然后，我们希望同时最小化三种类型的错误：

（1）由于已标签域X内的辨别能力而导致的错误。

（2）由于已标签的域X和隐藏的无标签子域Ui之间的特征域差距而导致错误。

（3）由于无标签域U内的辨别能力而导致的错误。

嵌入式网络的训练框架

    图中在每个小批量中，扩展网络将对标签数据的随机子集进行扩展，以引入额外的多样性。利用非增广标记数据训练特征鉴别器。对抗性损失迫使未标签特征的分布与标签特征保持一致。

3、详细介绍（三种错误）

（1）最小化已标签域中的错误 

人脸图像的深度表示通常是超球面嵌入空间中的一个点：。

最先进的监督人脸识别方法都试图找到一个目标函数来最大化类间边缘，这样当在看不见的身份上测试时，特征仍然可以区分。在这项工作中，我们选择使用CosFace损失函数来训练标签图像：

这里s是控制温度的超参数，m是边际超参数，Wj是嵌入空间中第j个恒等式的代理向量，其中进行标准化。

（2）最小化域差距

假设未标签数据集U是从不同来源收集的不同数据集，即覆盖人脸图像的不同子域（类型）。如果我们能够访问这些子域标签，那么领域不可知模型的自然解决方案就是将每个子域与标签图像的特征分布对齐。但是，子域标签在许多情况下可能不可用。在我们的实验中，我们发现没有必要进行成对域对齐。相反，二进制域对齐丢失足以对齐子域。形式上，给定一个特征鉴别器网络D，我们可以通过对抗性损失来缩小域差距：

 辨别器D是由优化的多层二元分类器。它试图学习两个数据集之间的非线性分类边界，而嵌入网络需要通过减少f（x）和f（u）分布之间的差异来隐瞒辨别器，使其更具真实性。为了观察域对齐丢失的影响，我们使用小数据集进行了一个对照实验。我们将MSCeleb-1M数据集分为标记图像和未标记图像（无身份重叠）。然后对无标签的图像进行三种降级处理：随机高斯噪声、随机遮挡和下采样。

因此，我们在无标签数据集上创建了三个子域。在下图中的t-SNE图中可以观察到相应的域偏移，其中模型仅在标签的分割上训练。然后，我们将增强的无标签图像合并到具有二进制域对抗损失的训练中。我们观察到，随着二元结构域对齐丢失，每个子域的分布与原始结构域对齐，表明域间隙减小。

 （3）最小化无标签域中的错误

      由于数据收集协议，一个身份拥有多个未标记图像的可能性很小。因此，基于聚类的方法对于我们的任务也是不可行的。在这里，我们考虑用一种多模式增强方法来解决这个问题。该方法的主要思想是在图像空间中学习两个域之间的差异，然后从源域数据中增广样本，在目标域中创建带有伪标签的训练数据。特别是，我们需要一个函数G，它将标记的样本x映射到由无标签的人脸定义的图像空间：。

然后，在G（x）上训练嵌入f，可以使其在U定义的图像空间中更具区分性：

（1）不应更改输入图像的标签

（2）应该能够捕获无标签图像中存在的不同样式。

将G训练成一个风格转换网络，在转换过程中以无监督的方式学习视觉风格。然后，网络G可以用作数据驱动的增强模块，该模块根据标签数据集的输入生成不同的样本。在训练过程中，我们随机替换要增强的标记图像的子集，并将其放入我们的身份识别学习框架中。嵌入网络的总损失函数如下所示：

4、多模式增强网络 

增强网络G是一个将图像映射到另一个图像的完全卷积网络。为了保持几何结构，我们的架构不涉及任何下采样或上采样。为了生成类似于无标签图像的样式，训练图像辨别器以区分无标签图像和生成图像的纹理样式：

 这里是z∼ N（0，I）是一个随机样式向量，用于控制输出图像的样式，通过自适应实例规范化（AdaIN）将其注入生成过程中。虽然对抗式学习可以确保输出在未标记的空间中，但它不能确保：

（1）输入的内容保持在输出图像中。

（2）随机样式z用于生成不同的视觉样式，对应于无标签图像中的不同子域。

我们建议利用额外的重建管道来同时满足这两个要求。首先，我们引入一个额外的样式编码器来捕获输入图像中的相应样式。然后执行重建损失以保持图像内容的一致性：

 然后，在重建过程中，我们添加了另一个潜在风格鉴别器Dz以保证Ez（u）的分布与先前的分布N（0，I）对齐：

 生成器的总损失函数如下所示：

5、总结 

      提出了一种学习鲁棒人脸表示的半监督框架，该框架可以推广到标记训练数据之外的无约束人脸。在不收集特定领域的数据的情况下，我们使用了一个相对较小的无标签数据集，其中包含不同风格的人脸图像。为了充分利用无标签的数据集，提出了两种方法。（1）证明了适应方法中常见的领域对抗性学习可以应用于我们的设置中，以减少标签人脸和隐藏子域之间的领域差距。（2）提出了一种增强网络，该网络可以在无标签的数据集中捕获不同的视觉样式，并在训练期间将其应用于标签的图像，使人脸特征对无约束的人脸更具区分性。