A Brief Introduction to Weakly Supervised Learning-论文阅读

A Brief Introduction to Weakly Supervised Learning-论文阅读
作者：周志华
弱监督学习入门论文，只看了可能用得上的部分（主动学习）

参考（译文，但是图挂了）：
https://blog.csdn.net/qq_20481015/article/details/86586268?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_title~default-0-86586268-blog-116045764.pc_relevant_default&spm=1001.2101.3001.4242.1&utm_relevant_index=3

摘要（翻译）：
监督学习是使用大量的训练样本训练出来的预测模型。其中，每个训练样本被贴上真实的标签。尽管现在的技术进步很大，但在很多的任务中，训练出一个强的监督学习器仍然是非常困难的。比如，获取样本标签的代价就非常高昂。所以，机器学习需要在**弱监督(weak supervision)**上取得技术进步。
本文回顾了弱监督的研究进展，并聚焦在三种典型的弱监督学习：
1）不完全监督学习(incomplete supervision)：只有一部分子集给出标签；
2）不确切监督学习(inexact supervision)：只给出大概的（粗粒度）标签；
3）不精确监督学习(inaccurate supervision)：标签不一定可信。

不完全监督学习：
只有一小部分带有标签样本的场景。
这些样本不足以训练一个好的模型。不完全监督学习的目的是从所有数据集D ={(x1,y1),…,(xl, yl),xl+1,…,xm}中学习f : X → Y ，其中 l 是带有标签的样本个数，而u=m-l是无标签样本。为了方便，我们称 l 个带有标签的样本为带标签样本(‘labeled data’)，称 u 个无标签样本为无标签样本(‘unlabeled data’)。
两种主流方法：
1） 主动学习（active learning）：
数据集一部分有标签，一部分没标签。
主动学习假设有一种“oracle”，例如专家经验，用来查询未标注样本的真实标签。简单起见，假设标注成本（根据有标签数据对无标签数据进行标注）只与查询次数有关。那么主动学习的目标就是最小化查询次数，以使训练一个好模型的成本最小。
给定少量标注数据以及大量未标注数据，主动学习倾向于选择最有价值的未标注数据来查询先知。衡量选择的价值，有两个广泛使用的标准：
1、信息量（informativeness）：衡量一个未标注数据能够在多大程度上降低统计模型的不确定性；
不确定抽样（uncertainty sampling）和投票询问（query-by-committee）是基于信息量的典型方法。前者训练单个学习器，选择学习器最不确信的样本向先知询问标签信息。后者生成多个学习器，选择各个学习器争议最大的样本向先知询问标签信息。基于代表性的模型通常的目标是用聚类方法来挖掘未标注数据的集群结构。
2、 代表性（representativeness）：衡量一个样本在多大程度上能代表模型的输入分布。
基于信息量的方法，主要缺点是为了建立选择查询样本所需的初始模型，而严重依赖于标注数据，并且当标注样本较少时，其性能通常不稳定。基于代表性的方法，主要缺点在于其性能严重依赖于由未标注数据控制的的聚类结果，当标注数据较少时尤其如此。因此，几种最近的主动学习方法尝试同时利用信息量和代表性度量。
关于主动学习有很多理论性的研究。例如，已经证明对于可实现（realizable）情况（假设数据在假设的空间中完全可分），随着样本复杂性的增加，主动学习的性能可以获得指数提升。对于不可实现（non-realizable）的情况（即由于噪声的存在，以致数据在任何假设下都不完全可分），在没有对噪声模型的先验假设时，主动学习的下确界相当于被动学习的上确界，换句话说，主动学习并不是非常有用。当假设噪声为Tsybakov噪声模型时，我们可以证明，在噪声有界的条件下，主动学习的性能可呈指数级提升；如果能够挖掘数据的一些特定性质，像多视角结构（multi-view structure），那么即使在不对噪声进行限制的情况下，其性能也能呈指数级提升。换句话说，只要设计得巧妙，主动学习在解决困难问题时仍然有用。
2） 半监督学习（semi-supervised learning）：
试图从带标签数据中自动学习未标注样本的标签来改善模型表现，而不需要人为介入。