论文总结3-Sub-center ArcFace: Boosting Face Recognition by Large-scale Noisy Web Faces

论文地址：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123560715.pdf

解决问题：

以前的方法容易受到大量噪声label训练数据的影响，这需要人工清洗这些数据。本文放宽了ArcFace类内的约束，提高了对标签噪声的鲁棒性。

做法：

为每个类设计K个子中心，训练样本只需要接近K个正的子中心，而不是只接近一个正的子中心。这鼓励一个包含大多数干净面孔的主导子类和多个包含hard面孔或噪声面孔的非主导子类。大量实验验证了该方法在大量真实噪声数据下的鲁棒性。

->问题：尽管sub-center ArcFace能有效的从噪声数据中分离干净数据，但是难样本也被分开了，导致类内的紧致性被破坏。

->做法：在模型达到足够判别能力后，直接去掉非显性子中心和高置信噪声样本，通过将难样本靠近占主导地位的子中心，逐步重新获得内紧性，进一步提高了准确率，并降低噪声的影响，达到了ArcFace在人工清理数据集上的训练效果。

 

主要贡献：

1. 在ArcFace中引入子类，提高对有噪声数据的鲁棒性。所提出的子中心ArcFace在巨大真实噪声数据下始终表现出色。

2. 当去除非主导子中心和高置信噪声样本，该方法与在人工清理数据集上训练的ArcFace相比，可取得相当的性能。

3. 利用并行工具可以很容易地实验sub-center ArcFace，因此具有大规模数据集的可扩展性。利用大规模的运输网络faces数据，本文提出的方法在IJB-B、IJB-C、MegaFace和FRVT 1:1验证上实现了SOTA性能。

 

相关工作：

面部识别与边界惩罚

• Trplet loss：利用三重数据，并通过一个清晰的欧几里得距离，使来自同一类的face比来自不同类的的face更接近。样本与样本的比较是在小批量内进行的，大规模数据量的三元组数量的组合爆炸导致这种三重损失的训练过程非常具有挑战性，它需要有效的抽样策略来选择信息性小批，并在小批中选择有代表性的三元组数据。为样本对样本的比较。

• Margin-based softmax：以保持每个类的中心的内存消耗为代价进行全局比较。样本对类的比较比样本对样本的比较更有效，更稳定。因为，（1）类的数量远小于样本数量，（2）每个类都可以用一个平滑的中心向量来表示，在训练时可以对中心向量更新。

噪声下的人脸识别

通过sub-class的人脸识别

通过分类，可以有效的适应不同的面部模式。【Softtriple】提出的多中心softmax loss，多中心可以更好地捕获数据的隐藏分布，因为它们可以捕获原始数据的复杂几何形状，并有助于减少类内方差。

针对现有问题：

尽管sub-class已经应用于人脸识别以及细粒度可视化检索。这些工作都没考虑到大规模（如50万类）人脸识别问题下的大量噪声（如训练数据中大约50%的噪声样本）。

 

具体实现：

回顾ArcFace：在softmax loss中添加附加角余量惩罚

：第 个人脸样本的嵌入特征 和第 类中心 的夹角

： 对应的类标签

： 和gt中心 的夹角

，角裕度参数

，特征尺度参数

：总类数

由于 和 都有一个L2归一化步骤，因此，

Sub-center ArcFace:

ArcFace假设了训练数据是干净的。这在大规模训练数据中是不可能的，下面考虑如何使得ArcFace面对噪声数据具有很好的鲁棒性。

为每个身份设置一个足够大的K，基于嵌入特征 和所有子中心 的L2归一化和 矩阵相乘，得到每个子类相似性得分 。然后，对子类相似度评分 采用一个max pooling，得到类相似度评分 。

子中心ArcFace loss：

 

鲁棒性和严密性分析：

给定的K很大，子类能够捕捉整个训练数据的复杂分布。表1给出了四种不同比较策略的严密性和稳健性分析。

表1 不同比较策略的严密性和稳健性分析

在角度空间，Min表示最近，Max表示最远，intra为训练样本与正子中心(K)的比较，inter为训练样本与所有负子中心的比较((N−1)×K)，outlier为开集噪声，label flip为闭集噪声。

1. 在最接近的类间子中心和最接近的类内子中心之间增加m。在类内比较中，选择最接近的正子中心可以放松类内约束，提高噪声下的鲁棒性。对于类间比较，选择最接近的负子中心可以增强类间约束，因为子中心相对于每个类的单个中心可以更好地捕捉整个数据集的复杂几何分布。但是增强的类间比较在封闭噪声下的鲁棒性较差。

2. 不能收敛，因为类间的初始状态是正交的，放松类间和类内比较都会使训练失去方向性，因为类间比较没有损失。

3. 和（4）不能培养子类，因为加强类内比较会将子中心压缩到高维特征空间中的一个点，从而削弱了算法对噪声的鲁棒性。

去除非主导中心和高置信噪声：

当网络具有足够的识别能力后，我们直接去掉非优势子中心。同时，我们引入了一个恒定的角度阈值来降低高置信噪声数据。在此之后，我们在自动清理的数据集上从头开始重新训练模型。

与重新加权方法比较，从模型训练开始，子中心ArcFace受噪声数据影响较小。

本文的子中心ArcFace在保持极端简单的同时取得了很高的人脸识别精度，只增加了两个超参数:子中心数和常数阈值来去除高置信噪声数据。

总结：

本文提出的sub-center ArcFace首先通过选择最接近的子中心来实施子类，然后只保留优势子中心来实现类内紧凑型。由于从一开始就放松了类内紧凑性，因此所提出的子中心ArcFace在大量标签噪声下具有鲁棒性，并且可以轻松地从原始下载数据训练人脸识别模型。大量的实验结果表明，该方法在真实嘈杂数据集上的性能始终优于ArcFace，并且与使用手动细化数据的性能相当。