CVPR 2020 | 旷视研究院提出数据不确定性算法 DUL，优化人脸识别性能

IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 大会官方论文结果公布，旷视研究院 16 篇论文被收录（其中含 6篇 Oral 论文），研究领域涵盖物体检测与行人再识别（尤其是遮挡场景），人脸识别，文字检测与识别，实时视频感知与推理，小样本学习，迁移学习，3D感知，GAN与图像生成，计算机图形学，语义分割，细粒度图像，对抗样本攻击等众多领域，取得多项领先的技术研究成果，这与已开放/开源的旷视AI生产力平台Brain++密不可分。

本文是旷视CVPR2020论文系列解读第7篇，提出了 Data Uncertainty Learning（DUL）算法，把数据不确定性估计理论应用于人脸识别领域。DUL 算法的两种训练模式可与人脸识别方法的几种主流损失函数有效结合，进一步提升模型在低质量人脸验证和人脸检索任务中的表现。同时，DUL 算法对训练集中的噪声数据具有一定的鲁棒性，可有效缓解脏样本对模型训练产生的不利影响。尤为重要的是，DUL 算法针对每张图像所预测得到的方差，与该张图像的质量呈明显正相关，未来可拓展到无监督学习范式下的视频帧质量推图或高风险人脸验证预警等具体应用方向。

      

论文名称：Data Uncertainty Learning in Face Recognition

论文链接：https://arxiv.org/abs/2003.11339

 

目录

 

• 导语

• 简介

• 方法

• • 前言

  • 基于分类的人脸识别 DUL

  • 基于回归的人脸识别 DUL

• 实验

• • 对比确定性基准

  • 对比 PFE

  • 对比 SOTA

  • 模型鲁棒性

• 结论

• 参考文献

• 往期解读 

导语

数据不确定性（Data uncertainty）来自于数据之内的「噪声」，对于计算机视觉应用而言，比如人脸识别，这种不确定性的建模至关重要，因为噪声广泛存在于图像之中。

 

大多数人脸识别方法把每张人脸图像表示为嵌入在隐空间中的一个确定点（deterministic point embedding，即「点嵌入」）。在这种情况下，相同 ID 的高质量图像往往会聚在一起。然而，对于带有噪声的人脸图像，其点嵌入的位置是很难被准确估计的，这就导致该张图像的点嵌入游离在其他同高质量同类样本的点嵌入构成的簇（cluster）之外。换句话说，低质量人脸图片在隐空间的点嵌入具有很大的不确定性。如图1（a）所示。带有一定噪声的正示例与其类别相去甚远，并靠近带有噪声的负示例，造成不匹配。

图1：点估计与分布估计

概率性人脸嵌入（PFE）是人脸识别领域首个考虑数据不确定性的工作。对于每个样本，它估计其在隐空间中的高斯分布（即概率嵌入），而不是一个点嵌入。具体而言，给定一个预训练好的点嵌入 FR 模型，PFE 将每个样本的点嵌入特征视作该样本高斯概率嵌入的均值，并固定住。接着，PFE 在原本的 FR 模型后接入一个新的分支用来预测其高斯概率嵌入的方差。

PFE 的训练损失函数基于一个新的相似性度量，mutual likelihood score（MLS），它可估计两个高斯分布之间的散度。通过优化 MLS 损失，高质量人脸样本的方差会被预测的较小，噪声人脸图像的方差则会被预测的较大。结合 MLS 度量，PFE 可以有效减少噪声样本 1v1 verification 时造成的误匹配问题，如图1（b）所示。

尽管有效，PFE依然有所限制，即在训练过程中，PFE 仅仅优化方差的学习，而不优化原本点嵌入的特征（即均值）。因此，数据不确定性并没有被真正用于影响模型中特征的学习；并且，传统的基于余弦相似性的度量方式无法适用于 PFE 模型。而且，PFE 所依赖的 MLS 度量方式复杂度更高，也更耗内存。

简介

本文首次把数据不确定性学习应用于人脸识别中基于概率嵌入的特征（均值）和不确定性（方差）学习。如图1（c）所示，这一学习方法本质上优化了人脸特征的学习，使得同一类别的实例更聚集，而不同类别的实例更分散。因此，根据本文方法所习得的人脸均值特征可直接与传统的相似性度量适配，无需依赖 MLS 度量方式。

 

具体而言，本文提出两个学习方法࿰