Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning-笔记

  通过Active Learning(AL)算法,找到最小的需要标注的数据进行训练,来标记未标记的数据。

  AL必须满需下边的需求才能作为crowd-sourced database的默认的最优策略:

  1. Generality:算法必须能够应用到任意的分类和标记任务。因为crowd-sourced systems应用广泛。
  2. Black-box treatment of the classifer:意思是,能够自动化,不需要对分类器内部进行调节,因为并不是所有的人都是专家。
  3. Batching:支持批处理。可以一次性处理多个数据。
  4. Parallelism:能够并行执行现代的多核处理器和分布式集群。
  5. Noise management:crowd-provided labels有很大噪声,错误,缺乏专业知识啥的。

  本文是第一个满足上述所有条件的AL算法。本文主要贡献了两个AL算法,MinExpError 和Uncertainty,还有一个噪声管理技术partitioning-basedallocation(PBA)。这里主要介绍两个AL算法。
  MinExpError 和Uncertainty决定哪些items被送入crowd。那么接下来就需要处理crowd-provided labels的内在噪声(PBA,基于整数线性编程),决定使用crowd返回的哪个label。
  本算法的一个主要的新奇之处在于使用了bootstrap理论。主要优点有:1bootstrap可以对很多的评估器产生稳定的估计;2基于bootstrap的估计可以通过将分类器看作黑盒来得到;3bootstrap需要的计算可以独立进行,适合分布式系统。
Activate Learning(AL)
Ranker-AL
Bootstrap

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sunyao_123/article/details/79973291
文章标签: 论文笔记
个人分类: 论文笔记
想对作者说点什么? 我来说一句
相关热词

没有更多推荐了,返回首页

关闭
关闭
关闭