Active learning literature Survey

原创 2016年08月29日 11:17:37

Three main active learning scenarios


Membership query synthesis:

The learner may request labels for any unlabeled instance in the input space.


Uncertainty sampling:

An active learner queries the instances about which it is least certain how to label

Entropy 



单个分类器:

熵大小

多个分类器 Query - by - committee:

通过投票决定instance they most disagree

minimizing the version space

1. be able to construct a committee of models that represent different regions of the version space

2.have some measure of disagreement among committee members

vote entropy/average Kullback- Lwiblwe(KL) divergence


3.3 expected model change

增加那些知道label后会对模型带来最大的改变的instance

对于神经网络来说,选择使得梯度变化最大的instance
该方法取得了较好的结果,但是在特征空间和标签集合较大的情况下,计算量较大


3.4最小化方差,对于模型不一定可以得到闭式形式

3.5estimated error reduction

估计某些instance加入后的错误期望

most prohibitively expensive query selection framework

1.要求计算加入每个可能的query后误差期望,

2.对于不同的query有不同的组合,需要不断进行迭代

3.6 density -weighted methods

uncertainty sampling 和QBC starategies 都是选择位于边界上的数据,本方法选择具有代表性的数据,实现整体上优化

informative instances should not only be those which are uncertain, but also those which are representative of the input distribution

4.1 关于active learning的caveats

1. active training dataset 和模型相关,不能完全真实反应数据的潜在分布

2.



active-learning with costs

获取不同数据的难度不同,如果目标是减少训练的overall cost, 一味地减少训练样本数是不够的

半监督学习:选择most confident instances 加入训练集

active learning :uncertainty sampling

multi-view learning and co-training:不同模型由标记数据训练,然后对未标记数据进行分类,把自身最为确定的样本给其他模型进行训练,自己选择最不确定的进行重新训练

半监督学习着重于learner已经知道的,而active learning 着重于learner不知道的方面。将二者结合起来。

Reinforcement learning

增强学习

和active learning 的关系是,为了表现好,learner需要proactive。

reinforcement learning 往往会采取一些措施,对于过去来说是最好的策略,但是不是最有策略。为了提高,需要尝试risk的步骤。这常常被称为

exploration-exploitation tradeoff 

Equivalence query learning:

learner 对于instance 给出一个label的假设,标注者给出假设是否正确的结论。如果不正确,需要给出一个counter-example(反例),即给出不同于真正标签的instance


Active class selection

传统的active learning 认为获取数据很简单,但是标注需要cost。在相反的情况下,知道class label,需要查询instance

Active feature acquisition and classification

using incomplete symptom information as the feature set

active feature acquisition seeks to alleviate these problems by allowing the learner to request more complete feature information

select the most informative features to obtain

Model parroting and compression





























版权声明:本文为博主原创文章,未经博主允许不得转载。

Active learning 总结

Active learning by querying informative andrepresentative examples PAMI 2014 本文主旨:将优化问题转换为在每一轮中选择的...
  • alwaystry
  • alwaystry
  • 2016年09月02日 09:30
  • 1436

Active learning literature Survey

Three main active learning scenarios
  • alwaystry
  • alwaystry
  • 2016年08月29日 11:17
  • 264

腾讯QQ中奖消息是真的吗→【请点击百度快照】

特此声明:腾讯有关送礼活动,拨打『0755→3303←7554」必须与深圳总腾讯专线电话联系:『0755→3303←7554」如你拨打其它电话, 腾讯总Q感觉一概不负责!地址:北京市高新科技 @南 ^...
  • monkey20100820
  • monkey20100820
  • 2011年05月01日 00:45
  • 0

自主学习(active learning)

我是一名小小白~~~一边学习一边总结~~~一边更新~~~ 是什么? 自主学习,可以理解为询问式学习。 通常监督学习都喜欢丢一大堆的数据,然后通过对所有数据进行处理得出结果。往往数据量越大,得到的结果可...
  • chocolate_chuqi
  • chocolate_chuqi
  • 2017年09月25日 16:29
  • 110

Semi-supervised Learning Literature Survey

Semi-supervised Learning Literature Survey 发表于 2011-09-16 由 lixiang   朱晓进 (Jerry Xiaojin Zhu)...
  • pi9nc
  • pi9nc
  • 2013年06月09日 21:19
  • 986

机器学习(三) 深度学习的经典论文、代码、博客文章

前言 总结了Deep Learning应用相关的经典论文、代码、博客文章之类,包括CNN、RCNN、DQN、RNN等,github上看到。 原文地址:https://github.com/kristj...
  • jorg_zhao
  • jorg_zhao
  • 2016年08月24日 08:10
  • 1786

A Survey on Transfer Learning

本文是A Survey on Transfer Learning的译文。着重翻译了论文前半部分的概念部分,后半部分公式推导部分暂时未翻译。 本文成文时间较早,讲述机器学习背景下的迁移学习。摘要—在大...
  • Magic_Leg
  • Magic_Leg
  • 2017年06月30日 15:51
  • 1395

论文阅读:A Survey on Transfer Learning

关于迁移学习经典综述《A Survey on Transfer Learning》的部分翻译及整理
  • dugudaibo
  • dugudaibo
  • 2017年12月09日 16:07
  • 198
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Active learning literature Survey
举报原因:
原因补充:

(最多只允许输入30个字)