R TALK | 旷视危夷晨：不确定性学习在视觉识别中的应用

「R TALK 」是一个深度学习专栏，由北京智源-旷视联合实验室推出，旨在通过一场场精彩纷呈的深度学习演讲，展示旷视研究院的学术分享及阶段性技术成果，抛砖引玉，推陈出新，推动中国乃至全球领域深度学习技术的发展。

       

目录

• 基础知识

• • 何为不确定性估计

  • 为何不确定性重要

  • 两种不确定性

• 深度学习中的不确定性问题

• • 变分推断

  • Dropout=BN+VI

  • 模型融合

  • 回归问题中的数据不确定性

• 不确定性在计算机视觉应用

• • 物体检测中的数据不确定性

  • 人脸识别中的模型不确定性

  • 人脸识别中的数据不确定性：PFE方法

  • PFE方法的缺陷

  • 我们团队方法

  • • 法1：从头学习一个分类模型

    • 法2：从现有模型出发学习回归模型

• 总结

• 往期回顾

 

近日，旷视上海研究院长危夷晨在将门技术社群做了一次题为《Uncertainty Learning for Visual Recognition》(不确定性学习在视觉计算中的应用) Online Talk，共分为4个部分：

1. Preliminary（基础知识）

2. Uncertainty in Deep Learning（深度学习中的不确定性问题）

3. Uncertainty in Computer Vision（不确定性的计算机视觉应用）

4. Summary（总结）

本文根据视频进行了文字整理，作为「R TALK」系列的第 7 篇。文末附有这次精彩分享的视频回放。

基础知识

何为不确定性估计

要理解何为不确定性估计，我们可以先从确定性预测（deterministic prediction）开始。假设要对两张人脸进行对比，验证是否是同一个人的照片，那么可以使用人脸识别系统分别对这两张人脸图片提取特征，并使用某种度量指标衡量所提取的两个特征的相似程度，根据所预测出的相似程度来判断两张人脸图像是否从属同一个人。如果相似度很高（比如95%），则可以判断这两张人脸属于同一个人。这种通过预测一个确定性的人脸特征用来判断的方式被称为确定性预测（deterministic prediction）。

 

然而这个相似度分数并不总是有效，以下图中第二个例子为例，可以看到在输入图像中，一张非常清晰，另一张十分模糊，然而这个时候人脸识别系统依然给二者打出很高的相似度分数，那么面对这种情况，我们是否要相信系统给出的答案，我们是否有办法来判断系统给出这个分数的可靠程度？

 

为此，人们提出了另一个辅助判断的指标，即判断机器给出的答案是否可信，可信程度多少的分数被称为confidence score（置信度分数）。如下图第二行中，系统给出相似度95%，然而confidence score却只有10%，表明系统给出的相似度分数的可信度很低，因此我们在采纳系统给出的这个判断答案的时候需要十分谨慎。

 

从这个案例可以知道，在confidence score分数背后存在一个核心思想，即很多时候机器学习系统给出的判断不一定是靠谱的，即，系统对于给出的判断具有一定程度的“不确定性”。那么此时人们就需要知道系统给出这个判断到底有几成把握，因此我们需要诸如置信度分数或者“不确定性”分数这样的额外信息来帮助我们做出更好的决策。

       

为何不确定性重要

上面介绍完之后，我们再来谈谈它为什么重要。简单来讲，不确定性估计在深度学习之中有着广泛的应用场景，为其落地发挥着不可替代的重要作用，下面讲一些比较要代表性的场景：

 

1. 高风险应用场景。这类场景需要非常精确的估计，因为一旦估计错误，可能出现严重的后果，例如医疗图像诊断、自动驾驶。

2. 大量机器学习场景。比如，在主动学习（Active Learning）这种技术框架中，模型需要确定哪些样本更值得被打标签。这也涉及到系统对于估计样本“价值程度”不确定性。同时，的研究人员往往也会发现单纯使用机器学习系统进行判断时，会存在少量样本系统无法做出很好的判断，因此这时人们会邀请专家来标记这部分困难样本，以训练模型。

3. 强化学习。强化学习由于经常要权衡exploration和exploitation操作，因此如何确定每一台机器的概率分布是否被准确估计，就是对这台机器模型参数的不确定性估计。

4. 对处于训练数据分布之外情况的检测。由于很多时候测试数据并不在训练数据中，因此如果测试数据超出了训练数据的数据分布，那这样的预测是没有准确度可言的，这时候就需要一个额外的不确定性估计来确认对当前的预测有多大把握。

两种不确定性

接下来，我们界定一下不确定性的分类问题。一般来讲，不确定性可以分为两类：