Active learning literature Survey

原创 2016年08月29日 11:17:37

Three main active learning scenarios


Membership query synthesis:

The learner may request labels for any unlabeled instance in the input space.


Uncertainty sampling:

An active learner queries the instances about which it is least certain how to label

Entropy 



单个分类器:

熵大小

多个分类器 Query - by - committee:

通过投票决定instance they most disagree

minimizing the version space

1. be able to construct a committee of models that represent different regions of the version space

2.have some measure of disagreement among committee members

vote entropy/average Kullback- Lwiblwe(KL) divergence


3.3 expected model change

增加那些知道label后会对模型带来最大的改变的instance

对于神经网络来说,选择使得梯度变化最大的instance
该方法取得了较好的结果,但是在特征空间和标签集合较大的情况下,计算量较大


3.4最小化方差,对于模型不一定可以得到闭式形式

3.5estimated error reduction

估计某些instance加入后的错误期望

most prohibitively expensive query selection framework

1.要求计算加入每个可能的query后误差期望,

2.对于不同的query有不同的组合,需要不断进行迭代

3.6 density -weighted methods

uncertainty sampling 和QBC starategies 都是选择位于边界上的数据,本方法选择具有代表性的数据,实现整体上优化

informative instances should not only be those which are uncertain, but also those which are representative of the input distribution

4.1 关于active learning的caveats

1. active training dataset 和模型相关,不能完全真实反应数据的潜在分布

2.



active-learning with costs

获取不同数据的难度不同,如果目标是减少训练的overall cost, 一味地减少训练样本数是不够的

半监督学习:选择most confident instances 加入训练集

active learning :uncertainty sampling

multi-view learning and co-training:不同模型由标记数据训练,然后对未标记数据进行分类,把自身最为确定的样本给其他模型进行训练,自己选择最不确定的进行重新训练

半监督学习着重于learner已经知道的,而active learning 着重于learner不知道的方面。将二者结合起来。

Reinforcement learning

增强学习

和active learning 的关系是,为了表现好,learner需要proactive。

reinforcement learning 往往会采取一些措施,对于过去来说是最好的策略,但是不是最有策略。为了提高,需要尝试risk的步骤。这常常被称为

exploration-exploitation tradeoff 

Equivalence query learning:

learner 对于instance 给出一个label的假设,标注者给出假设是否正确的结论。如果不正确,需要给出一个counter-example(反例),即给出不同于真正标签的instance


Active class selection

传统的active learning 认为获取数据很简单,但是标注需要cost。在相反的情况下,知道class label,需要查询instance

Active feature acquisition and classification

using incomplete symptom information as the feature set

active feature acquisition seeks to alleviate these problems by allowing the learner to request more complete feature information

select the most informative features to obtain

Model parroting and compression





























版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

[论文学习]Deep Learning Based Recommendation: A Survey

这篇文章总结了近年来深度学习在推荐系统上的应用,并按照输入输出进行了分类,可以对深度学习如何运用到推荐系统上有一个大概的认识...
  • somTian
  • somTian
  • 2017年06月22日 18:17
  • 250

【迁移学习——1】2010-A Survey on Transfer Learning

简介: 一个例子:        关于照片的情感分析.        源:比如你之前已经搜集了大量N种类型物品的图片进行了大量的人工标记(label),耗费了巨大的人力物力,构建了源情感分类器(...

笔记:Transfer Learning with Active Queries from Source Domain

基于源域主动查询的迁移学习 Transfer Learning with Active Queries from Source Domain Introduction Algorithm Optimi...

Active Learning 主动学习

最近读了一篇paper,题目是An MRF Model-Based Active Learning Framework for the Spectral-Spatial Classification ...
  • qrlhl
  • qrlhl
  • 2015年09月30日 14:49
  • 9887
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Active learning literature Survey
举报原因:
原因补充:

(最多只允许输入30个字)