【论文阅读】a survey of deep active learning

概念：

是从未标记的数据集中选择最有用的样本，并将其交给oracle(如专家)进行标注，从而在保持性能的同时尽可能降低标注成本。

试图通过标记最少量的样本使得模型的性能收益最大化。

注意：

主动学习无法提取特征，无法处理高维数据，要靠深度学习模型。

DL: 通过使用手工或者自动的方法千方百计的设计具有高性能特征提取能力的模型。

AL: 通过设计精妙的查询规则从未标记的数据集中选择最佳的样本，试图尽可能的降低标注代价，查询规则的设计对主动学习的性能是至关重要的。

DAL面临的挑战：

AL关于查询策略的研究已经相当丰富，但是想要直接将这种策略应用到DL中仍然是相当困难的。

标签样本的数据不足。主动学习往往只依赖于少量的标记样本数据就可以实现学习和更新模型，而DL往往是数据驱动的，经典AL方法所提供的标记训练样本不足以支持传统DL的训练。解决办法是通过生成模型做数据增广/结合标注和未标注数据进行监督和半监督学习做数据增广/给高置信度样本标注假标签，总之是要扩展数据的数量。此外，针对经典的one by one的查询策略，许多研究者聚焦于batch样本的查询策略的改进，同时考虑样本的信息量和多样性。

模型不确定性问题。基于不确定性的查询策略是主动学习的一个重要方向。在分类任务当中，尽管深度学习可以使用softmax layer来获得标签上的概率分布，但最终输出的softmax 分数作为置信度度量方法是不可靠的，这种方法的性能甚至会比随机采样的效果更差。

处理维度不一致。大多数AL算法主要关注于分类器的训练，各种查询策略的很大程度上都是基于固定的特征表示。而在DL中，特征学习和分类器的训练是共同优化的。仅在AL框架中对DL模型进行微调或者将它们视作两个独立的问题可能会引起分歧问题。解决办法是提出新的框架orz,比如给query strategy设计个损失预测模型（learning loss for AL)。

主动学习应用场景分类：

基于委员会投票查询：使用多个模型构成委员会; 委员会中所有的模型依次对未标注样本进行预测并优先筛选出投票最不一致的样本进行标注。

基于流（ Stream-Based ）的查询：未标注的样本按照先后顺序逐个提交给标注专家，由标注专家决定是否标注当前样例，如果不标注将其丢弃。

基于池（Pool-Based）的查询：维护一个未标注样例的集合，由标注专家在该集合中选择当前要标注的样例（5%）。

而基于流和基于池的区别主要在于前者是对数据流中的每个样本独立作出判断是否需要查询未标记样本的标签，而后者则可以基于对整个数据集的评估和排名来选择最佳查询样本。

停止学习的条件：标注预算耗尽，或者其他预设好的终止条件。

DAL的一般框架：

两部分：在未标注数据集上的AL查询策略和DL的模型训练。

在标签训练集上初始化或预训练DL模型的参数θ

利用DL模型对未标记池U的样本进行特征提取。

根据相应的查询策略选择样本，并让标注专家进行标注

把新标注的样本加进训练集中

重复以上过程直到标注预算耗尽或未标注样本用尽。

由于AL和DL在处理管道上的不一致，仅在AL框架中对DL模型进行微调或者简单的组合AL与DL将它们视为两个分割独立的问题可能会引起分歧。

AL-DL为有DBNs的DL模型提出了一个主动标记方法。

CEAL将深度卷积神经网络合并到AL中，提出了一个新颖的DAL框架。

HDAL也采用了类似的框架用于人脸识别任务中。

Deep Active Learning for In Situ Plankton Classification.提出使用全卷积网络和AL进行结合的框架来解决使用少量标注进行医学图像分割的问题。

Active Palmprint Recognition将AL视为一个二分类任务，为掌纹识别任务提出了一个类似的DAL框架。

另外还有使用了DL模型的中间隐藏层的输出。与浅层模型不同，深层模型可以被视为由特征提取阶段与任务学习阶段两部分组成。仅仅使用DL模型最后一层的输出作为样本预测不确定性的评估依据是不准确的。

AL-MV模型。

LLAL以较小的参数代价实现了与任务无关的AL框架设计。

类似的[17]采用了相似的策略实现了一个手指骨骼分割任务的DAL框架。

查询策略：

抽样策略（准则）一般是针对目标任务进行设计，不具备普适性，例如在某一类机器学习任务中效果好的模型（例如文本分析），直接应用在其它任务中效果很差（例如图像分类）。

不确定性，多样性以及混合模型。

单独的基于不确定性的采样往往会造成采样偏差：即当前选择的样本在未标记数据集的分布不具有代表性。

仅考虑多样性策略则可能会导致标记成本增加：即可能有相当一部分信息量较低的样本会被选择。

在DAL中查询策略对标注代价的减少是至关重要的。

1. Batch Mode DAL(BMDAL)

DAL与经典AL的主要区别在于DAL采用的是基于batch的样本查询方式。在传统的AL中大部分算法采用 one by one 的方式进行查询，这导致学习模型被频繁训练，而训练数据却几乎没有变化。这种查询方式得到的训练集在DL模型的训练中不仅低效且极易引起过拟合。

BMDAL的核心在于查询一组信息丰富且多样的样本。

1. Uncertainty and hybrid query strategy

DBAL

基于多样性的策略并非对于任何数据集都是合适的。数据集的类别内容越丰富批处理的大小越大，基于多样性的方法效果就越好。反之，使用基于不确定性的查询策略表现效果则相对更好。

Batch Active learning by Diverse Gradient Embeddings (BADGE)对在幻觉梯度空间中表示时不同且大小的点组进行采样，从而在一个批次中同时考虑模型的预测不确定性和样本的多样性。最重要的是，BADGE可以实现在预测不确定性和样本多样性之间的自动平衡，而不需要手动的超参数调整。

Wasserstein Adversarial Active Learning (WAAL)  提出了一种在不确定性和多样性之间显式的折中的混合查询策略。

TA-VAAL提出将损失预测模块和RankCGAN概念整合到变分对抗主动学习（VAAL）中，以便同时考虑数据分布和模型的不确定性。

实际上，尽管混合查询策略表现出更为优异的性能。但相比之下由于基于不确定性的AL查询策略与DL的softmax层的输出结合更为方便，因此，基于不确定性的查询策略仍然被广泛使用。

1. Deep Bayesian Active Learning (DBAL)

基于不确定性的采集功能是许多经典的AL算法一个重要研究方向，而传统的DL方法很少代表这种模型不确定性，于是DBAL出现了。

DBAL将贝叶斯卷积神经网络同AL方法进行结合，使BALD适应了深度学习环境，从而为高维数据开发了一个新的AL框架。

DBAL由于需要批量采样的存在，并不适合大型数据集。

基于不确定性的DBAL方法可能会受到对抗性示例的愚弄，一个微小的扰动可能会导致不可接受的性能损失。

DEBAL通过将集成方法的表达能力与MC-dropout相结合在没有交易代表性的情况下获得更好的不确定性。

BatchBALD则选择拓展BALD到批量查询，重新计算了批量样本与模型参数之间的互信息来共同对批量的样本进行评分。可以更为准确的评估共同互信息。

ACS-FW重新构建了批处理结构，以优化对整个数据集引起的对数后验的稀疏子集近似。ACS-FW和其他查询策略相比查询的样本在整个数据流行上拥有更好的覆盖。

DPEs则引入了一种可拓展的深度概率集合技术。

尽管AL可以采样高效的样本，但在AL的过程中每次迭代都需要从头开始重新训练模型，这对DL模型的训练是不可接受的。一个直接的解决方案是使用新选择的数据增量地训练模型，或者将它与现有的训练数据结合起来。但这会导致模型要么偏向少量新选择的数据，要么偏向于过程早期选择的数据。

ActiveLink采用了一种基于元学习的有原则的无偏差增量训练方法。

1. Density-based Methods

基于密度的方法主要是指从集合（核心集）的角度来考察样本的选择。­

试图使用核心集来代表整个原始数据集的特征空间的分布，从而降低AL的标注成本。

为了解决批量查询中的采样偏差问题，增加批量查询样本的多样性。Core-set approach  尝试采用构建核心子集的方法来解决此问题。由于Core-set approach需要在未标记的数据集上构建一个较大的距离矩阵，因此这个搜索过程在计算上相当的昂贵。并且这种劣势在大规模的未标记数据集上将变得更加明显。

Discriminative Active Learning (DAL) 可以按照密度成比例的从未标记数据集中进行采样，而不会偏向位于稀疏流行域的样本点。

除了相应的查询策略外，一些研究者也考虑了批量查询大小对查询性能的影响。

基于密度的方法主要从数据分布的角度来考虑核心子集的选择，相关的研究方法相对较少，它为样本的查询提供了一种新的可能。

1. 其他方法

DFAL认为这些方法容易受到对抗性示例的愚弄，因此DFAL将重点放在决策边界附近示例的研究。

数据集本身的属性对DAL的性能也有着重要的影响。GA提出了一种通用的数据分析工具。在AL中盲目的使用较小的子数据集也是不可取的。

基于集合的AL可以在获取过程中有效的抵消数据集中的类别不平衡，导致更多的校准预测不确定性，从而获得更好的性能。

一些研究者也注意到在传统的AL工作流程中往往将获取函数视为固定的已知的先验，而这种获取函数是否合适，只有等标记预算被消耗殆尽才能进行观察。这导致无法对获取函数进行灵活快速的调优。因此使用强化学习对获取函数进行动态调优或许是一个不错的选择。

标准的AL，RAL and DRAL的管道对比。

(a)标准的AL管道通常由三个部分组成。Oracle提供一组标记数据，预测器（此处为BNN）用来学习这些数据，并为指南提供了可预测的不确定性，该指南通常是固定的，硬编码的获取函数，它为Oracle挑选下一个样本从而重新开始循环。

(b）RAL用策略BNN代替固定获取函数，该策略BNN以概率状态进行学习，并从oracle获得反馈，以强化学习的方式学习如何选择下一个最优的样本点（红色的新部分）。因此，RAL可以更加灵活地调整获取函数以适应现有的数据集。

(c）DRAL为person Re-ID任务设计了一个深度强化主动学习框架。对于每个查询锚点（探针），代理（增强型主动学习者）将在主动学习过程中从图库池中选择实例交给oracle以获得带有二进制反馈（正/负）的人工注释。状态评估所有实例之间的相似关系，根据oracle的反馈计算奖励从而调整代理的查询。

Active-iNAS对这一假设发起挑战，在进行主动学习的同时使用神经架构搜索技术（NAS）动态地搜索有效的模型架构。

针对DAL中数据量不足问题

先前的大多数DAL方法往往只在通过查询策略所采样的标记样本集上进行训练。而忽视了已有的未标记数据集的存在，并且相应的一些数据扩充和训练策略也没有得到充分的利用。这些策略有助于改善在DAL训练中标签数据不足的问题，且不会增加额外的人工标注代价。因此，这些策略的研究也是相当有意义的。

CEAL（2017）除了使用通过查询策略采样的标记数据集外，还通过为具有高的模型预测置信度的样本分配伪标签的方式丰富训练集。

在标记数据集和未标记数据集上进行无监督训练并结合其他策略来训练整个网络结构。

WI-DL采用在所有数据集上进行无监督特征学习与在标记数据集上进行有监督微调相结合的方式来训练DBN。

GAAL旨在希望使用生成学习生成比原始数据集中拥有更多信息量的样本。

然而，随意的数据增强并不能保证生成的样本比原始数据拥有更多的信息量。因此，BGADL（2019）拓展了GAAL的想法，提出了一种贝叶斯生成式主动深度学习的方法。

VAAL（2019），ARAL（2019）借鉴了先前的方法不仅使用标记数据集与未标记数据集一同训练网络，而且将生成对抗学习引入到了网络架构中进行数据增强，以便进一步的提升网络的学习能力。

SSAL跨AL周期的使用无监督、监督和半监督学习的方式，在尽可能不增加标注成本的情况下充分利用已有的信息进行训练。

在训练方式和数据利用技巧上的探索也是非常有必要的，它在性能上的增益甚至可能超过改变查询策略所代来的性能增益。

Random Selection (RAND)：不需要跟模型的预测结果做任何交互，直接通过随机数从未标注样本池筛选出一批样本给专家标注，常作为主动学习算法中最基础的对比实验。

Softmax Confidence (CONF)：利用最可能类的softmax概率作为置信度，然后这个选择策略从未标记样本中选择最小的m个置信样本作为下一个查询。对于语义分割，计算每个像素的置信度，并使用像素之间的和作为图像的置信度。

Softmax Margin (MAR):这种方法与置信度方法相似，根据最可能标签( 𝑗_1)和第二可能标签( 𝑗_2)的softmax概率之差对所有样本进行排序，并选出差值最小的m个样本, 这个想法是，样本有一个小的边际概率预测意味着网络是非常不确定的。

Softmax Entropy (ENT) ：在语义分割的情况下，将图像中每个像素的熵值相加，得到整个图像的熵值。 Entropy考虑了所有类的概率，不像CONF，它考虑最可能的类，或者MAR，它只考虑最可能的两个类。

Core-Set Selection (CSET)：每一轮选择m个样本，该方法将这个过程视为一个寻找一个最能代表整个数据集的最佳集合；从未标记数据中选出m个样本加入到已标记池S中，新加入的点u需要满足与已标记池S的距离最大；

一个无标记样本点u与集合S的距离为：该点与集合S各个点距离的最小值，论文中采用欧几里得距离；

具体实现中采用核大小32，步长为12的平均池化，将图像进行编码成一个特征向量，从而计算不同图像（无标记样本点u和集合S中样本）对应的特征向量之间的欧几里得距离的最小值，将最小值最大的前m个加入到已标记数据池S中。