深度学习 主动学习（Active Learning）概述、策略和不确定性度量

主动学习

概念

主动学习是指对需要标记的数据进行优先排序的过程，这样可以确定哪些数据对训练监督模型产生最大的影响。主动学习不是一次为所有的数据收集所有的标签，而是对模型理解最困难的数据进行优先级排序，并仅对那些数据要求标注标签。然后模型对少量已标注的数据进行训练，训练完成后再次要求对最不确定数据进行更多的标注。通过对不确定的样本进行优先排序，模型可以让专家（人工）集中精力提供最有用的信息。这有助于模型更快地学习，并让专家跳过对模型没有太大帮助的数据。这样在某些情况下，可以大大减少需要从专家那里收集的标签数量，并且仍然可以得到一个很好的模型。主动学习具有以下特点：

• 主动学习是一种学习算法可以交互式查询用户(teacher 或 oracle)，用真实标签标注新数据点的策略。主动学习的过程也被称为优化实验设计。
• 主动学习的动机在于认识到并非所有标有标签的样本都同等重要。
• 主动学习通过为专家的标记工作进行优先级排序可以大大减少训练模型所需的标记数据量。降低成本，同时提高准确性。
• 主动学习是一种策略/算法，是对现有模型的增强。而不是新模型架构。
• 主动学习容易理解，不容易执行。

主动学习的关键思想是如果允许机器学习算法选择它学习的数据，这样就可以用更少的训练标签实现更高的准确性。

策略

在未标记的数据集上使用主动学习的步骤是：

• 首先需要做的是需要手动标记该数据的一个非常小的子样本。
• 一旦有少量的标记数据，就需要对其进行训练。该模型当然不会很棒，但是将帮助我们了解参数空间的哪些领域需要首标记。
• 训练模型后，该模型用于预测每