ICCV2021 还在用大量数据暴力train模型？主动学习，教你选出数据集中最有价值的样本...

关注公众号，发现CV技术之美

0

写在前面

主动学习（Active learning）旨在通过只在数据集上选择信息最丰富的样本来降低标记成本。现有的工作很少涉及到目标检测的主动学习。目前仅有的一些目标检测主动学习方法大多基于多个模型或是分类方法的直接扩展，因此只使用分类头来估计图像的信息量。

本文提出了一种新的目标检测的深度主动学习方法，依赖于混合密度网络，估计每个定位头和分类头输出的概率分布。作者明确地估计了单个模型的单一正向传递中的偶然（aleatoric）不确定性 和认知（epistemic）不确定性 。

本文的方法使用一个评分函数，聚合两个head的这两种类型的不确定性，以获得每个图像的信息性得分。作者在PSCAL VOC和MSCOCO数据集上证明了本文方法的有效性。

1

论文和代码地址

Active Learning for Deep Object Detection via Probabilistic Modeling

论文地址：https://arxiv.org/abs/2103.16130

代码地址：未开源

2

Motivation

深度检测网络的性能取决于标记数据的大小。在此基础上，研究人员探索策略，选择数据集中信息最丰富的样本进行标记，称为主动学习。通常，这是通过设计一个计算网络不确定性的评分函数来实现的。

一般来说，预测不确定性被分解为偶然和认知不确定性。前者是指数据中固有的噪声（如传感器噪声），或者遮挡、缺乏视觉特征造成的信息缺失 （也就是数据本身的不确定性）。后者是指由于缺乏模型知识而引起的不确定性 （也就是由于模型没有学好产生的不确定性），与训练数据的密度成反比。

建模和区分这两种类型的不确定性在主动学习中非常重要，因为它允许深度学习模型了解它们的局限性，即识别样本中的可疑预测（偶然不确定性)，并识别不类似于训练集的样本(认知不确定性）。目前仅有的一些目标检测主动学习方法大多基于多个模型或是分类方法的直接扩展，因此只使用分类头来估计图像的信息量。

本文提出了一种新的用于目标检测的主动学习方法。作者的方法使用单个模型和单次正向传递，与基于多个模型的方法相比，显著降低了计算成本。尽管如此，作者的方法还是达到了很高的精度。为了做到这一点，作者充分利用了定位和分类的偶然和认知不确定性。

如上图所示，本文的方法是一个混合密度网络，该网络学习每个head输出的高斯混合模型(GMM)来计算偶然和认知不确定性。为了有效地训练网络，作者提出了一个损失函数，作为不一致数据的正则化器，从而生成更鲁棒的模型。

本文的方法通过聚合图像中包含的每个对象的所有定位和分类的不