关闭

Active learning literature Survey

100人阅读 评论(0) 收藏 举报
分类:

Three main active learning scenarios


Membership query synthesis:

The learner may request labels for any unlabeled instance in the input space.


Uncertainty sampling:

An active learner queries the instances about which it is least certain how to label

Entropy 



单个分类器:

熵大小

多个分类器 Query - by - committee:

通过投票决定instance they most disagree

minimizing the version space

1. be able to construct a committee of models that represent different regions of the version space

2.have some measure of disagreement among committee members

vote entropy/average Kullback- Lwiblwe(KL) divergence


3.3 expected model change

增加那些知道label后会对模型带来最大的改变的instance

对于神经网络来说,选择使得梯度变化最大的instance
该方法取得了较好的结果,但是在特征空间和标签集合较大的情况下,计算量较大


3.4最小化方差,对于模型不一定可以得到闭式形式

3.5estimated error reduction

估计某些instance加入后的错误期望

most prohibitively expensive query selection framework

1.要求计算加入每个可能的query后误差期望,

2.对于不同的query有不同的组合,需要不断进行迭代

3.6 density -weighted methods

uncertainty sampling 和QBC starategies 都是选择位于边界上的数据,本方法选择具有代表性的数据,实现整体上优化

informative instances should not only be those which are uncertain, but also those which are representative of the input distribution

4.1 关于active learning的caveats

1. active training dataset 和模型相关,不能完全真实反应数据的潜在分布

2.



active-learning with costs

获取不同数据的难度不同,如果目标是减少训练的overall cost, 一味地减少训练样本数是不够的

半监督学习:选择most confident instances 加入训练集

active learning :uncertainty sampling

multi-view learning and co-training:不同模型由标记数据训练,然后对未标记数据进行分类,把自身最为确定的样本给其他模型进行训练,自己选择最不确定的进行重新训练

半监督学习着重于learner已经知道的,而active learning 着重于learner不知道的方面。将二者结合起来。

Reinforcement learning

增强学习

和active learning 的关系是,为了表现好,learner需要proactive。

reinforcement learning 往往会采取一些措施,对于过去来说是最好的策略,但是不是最有策略。为了提高,需要尝试risk的步骤。这常常被称为

exploration-exploitation tradeoff 

Equivalence query learning:

learner 对于instance 给出一个label的假设,标注者给出假设是否正确的结论。如果不正确,需要给出一个counter-example(反例),即给出不同于真正标签的instance


Active class selection

传统的active learning 认为获取数据很简单,但是标注需要cost。在相反的情况下,知道class label,需要查询instance

Active feature acquisition and classification

using incomplete symptom information as the feature set

active feature acquisition seeks to alleviate these problems by allowing the learner to request more complete feature information

select the most informative features to obtain

Model parroting and compression





























0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:45534次
    • 积分:3737
    • 等级:
    • 排名:第8623名
    • 原创:331篇
    • 转载:87篇
    • 译文:0篇
    • 评论:9条
    最新评论