ranker-Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning

论文Scaling Up Crowd-Sourcing to Very Large Datasets A Case for Active Learning提出两种AL算法。

  首先找到分类器θ对未标注数据的不确定程度。然后让crowd对这些数据进行标定。下边介绍两种不确定性方法。
下边的u是未标记数据，但是是指未标注数据的每一个，而不是整体。

一：Uncertainty Algorithm

第二项计算公式：

二：MinExpError Algorithm

  所以说MinExpError scores算法结合了，question的难度（不确定性）和这个回答能够提高我们分类器的结果的程度（影响较大的数据）。

三：附加小知识