Multiple Instance Active Learning for Object Detection论文阅读笔记

Multiple Instance Active Learning for Object Detection用于目标检测的多实例主动学习

原文链接：[2104.02324] Multiple instance active learning for object detection (arxiv.org)

代码：GitHub - yuantn/MI-AOD: Code for Multiple Instance Active Learning for Object Detection, CVPR 2021

最近在研究主动学习，找了一篇cvpr2021的文献来读，简单做一下阅读笔记。

介绍：为主动学习与目标检测量身打造的首创性结合模型，在Pascal voc数据集上以20%数据的标注达到了100%数据集标注的93.5%效果，在mscoco数据集上达到最优效果。并且可以推广到任意模型上去。

一、背景介绍

简单介绍一下主动学习，通过以周期性、学习性的方法，用少量标记获得高效特征。这个过程是由机器学习初始化的已标记数据集后，在未标记数据集中选择信息量大或者差异性大的数据进行人工标记后，将人工标记后的数据加入到数据集中再次训练，迭代进行数据的筛选与训练完成的，可以减少训练成本，适用于标记较难获得，但未标记数据容易获得的实验。

拿之前存的一个图，大概是这么个过程

作者提出了三种挑选样本的方法：

基于不确定度：为图像分类而设计的，并且由于拥挤和噪声情况的挑战性而不适用于对象检测。

基于分布（这些方法通过估计未标记样本的分布来选择不同的样本）：中间特征表示对于样本选择是否有效仍然是有疑问的。

目前存在的问题是：缺少专门适用于主动学习目标检测的示例级主动学习工作模型

图上方是传统的主动学习方法，通过简单地平均实例不确定性来计算图像不确定性，忽略大量背景实例的干扰。(二)MI AOD 通过多实例学习利用不确定性重新加权来过滤掉干扰实例，同时缩小实例不确定性和图像不确定性之间的差距。

这里的实例指的是背景的干扰物体。

简单总结：

传统的主动学习方法会将背景的一些物体的不确定性也算入内，导致不确定性会比较大，但实际上所包含的真正信息量却不多，会导致机器误判。

多示例主动目标检测利用差异学习与多示例学习来学习与重加权（re-weight）图像中的特征，进行样本选择。主要是在示例不确定性与图像不确定性之间建立关系，实现去噪又学习。

本文的贡献包括:

(1)我们提出了多实例主动目标检测(MIAOD)，建立了一个坚实的基线模型之间的关系实例不确定性和图像不确定性的信息图像选择。

(2)我们设计了实例不确定性学习(IUL)和实例不确定性重新加权(IUR)模块，提供了有效的方法来突出信息实例，同时过滤掉目标检测中的噪声实例。

(3)我们将多元智能AOD 应用于常用数据集的目标检测，以显著的优势改进了最先进的方法。

二、模型介绍

作者提出了两个待解决的问题：

1、如何在已标注数据集上评估未标记数据集的不确定度

2、如何在滤除背景噪声示例的同时精确评估不确定度

对于第一个问题，MI AOD 结合了实例不确定性学习（IUL），目的是突出未标记集中的信息实例，以及对齐标记和未标记集的分布（大多数主动学习方法仍然只是简单地将在标记集上训练的模型推广到未标记集。当两组之间存在分布偏差时，结果不佳）

对于第二个问题，MI AOD在数据集中对实例不确定性重新加权来估计图像不确定性。这是通过将每个图像视为示例包，同时在图像分类损失的监督下对实例不确定性进行重新加权来实现的。优化图像分类损失有助于突出属于相同对象类别的真正有代表性的实例，同时抑制有噪声的实例。

简单讲解一下网络结构

 IUL  Instance Uncertainty Learning用于实例不确定性学习的网络结构

Network architecture for instance uncertainty learning. (a) Label set training. (b) Maximizing instance uncertainty by maximizingclassifier prediction discrepancy. (c) Minimizing instance uncertainty by minimizing classifier prediction discrepancy

（a）训练标记数据集：g为特征提取器 f1、f2为两个对抗性示例分类器，他们利用对靠近图像类别边界有较大的预测差异学习示例的不确定性，所得出的结果θf1、θf2的差异为示例不确定性。fr为边界框回归器

（b）最大化示例不确定性：由于标记数据集与未标记数据集存在分布偏差，而提供信息的示例存在于有偏差的分布区域，因此要找出这些偏差大的区域。训练标记与未标记数据集，微调θf1与θf2，是示例不确定性最大化。

（c）最小化示例不确定性：用于对齐标记与未标记数据集的分布，标记集和未标记集之间的分布偏差被最小化，并且它们的特征被尽可能地对齐。

在每个主动学习循环中，最大最小预测差异过程重复几次，以便学习实例不确定性，并且标记和未标记集合的实例分布逐渐对齐。这实际上定义了无监督的学习过程，其利用了信息(即预测差异)来改进检测模型。

IUR Instance Uncertainty Re-weighting 示例不确定性重加权

Network architecture for instance uncertainty re-weighting.  (a) Label set training.  (b) Re-weighting and maximizing instanceuncertainty. (c) Re-weighting while minimizing instance uncertainty

滤除噪声示例，缩小示例与图像不确定性的差距。解决的是一个示例不确定性与背景不确定性不一致的问题，高不确定性的一些实例仅仅是背景噪声或探测器的硬底片。添加了一个与示例分类器并行的多示例分类器fmil，将每个图像视为一个实例包，并利用实例分类预测来估计包标签。反过来，它通过最小化图像分类损失来重新加权实例不确定性得分。

三、实验

训练集：PASCAL VOC 2007和2012 数据集的训练集，VOC 2007测试集用于评估平均精度(mAP)。

主动学习设置：ResNet 50 的retina-net和VGG 16 的SSD作为基本检测器。

RETINA-NET:MI AOD 使用从训练集中随机选择的5.0%的图像来初始化PASCAL VOC上的标签集。在每个主动学习周期中，它从剩余的未标记集中选择2.5%的图像，直到标记图像达20%。

对于大规模的MS COCO，MI AOD 仅使用训练集中随机选择的2.0%的图像来初始化标记集，然后在每个周期中从剩余的未标记集中选择2.0%的图像，直到达到训练集的10.0%。

表现：

VOC数据集：MI-AOD 与TITAN V GPU 上进行了比较。无论使用 RetinaNet 还是 SSD 检测器，MI-AOD 都能以明显的优势胜过最新方法。特别是在使用 5.0％、7.5％ 和 10.0％ 的样本时，它的性能分别比最新方法高出 18.08、7.78 和 5.19 个百分点。在最后一个周期中，MI-AOD 使用 20.0％ 的样本达到了 72.27％ 的检测平均精确率（达到了使用 100% 样本性能的 93.5%！），比 CDAL 显著高出 3.20 个百分点。这些提升证实了MI-AOD在选择信息量大的图像时可以精确地学习示例不确定性

SSD ：MI-AOD 在几乎所有周期中都优于最新方法，这证明了 MI-AOD 在目标检测器上的普遍适用性。

MS COCO 数据集：MS COCO 是具有挑战性的数据集，具有更多类别，更密集的对象和更大的尺度变化，其中 MI-AOD 的性能也优于被比较的方法，如图 5 所示。特别是当使用 2.0％、4.0％ 和 10.0％ 的已标注图像时，它分别比 Core-set 高出了0.6、0.5 和 2.0 个百分点，比 CDAL 高出了0.6、1.3 和 2.6 个百分点。