机器学习笔记(十三)半监督学习

 

13.半监督学习

这章介绍半监督学习方法。

13.1未标记样本

先说两个概念：

1）有标记样本（Labeled）

训练样本集D_l={(x₁,y₁), (x₂,y₂),…, (x_l,y_l)}，这l个样本的类别标记已知。

2）未标记样本（unlabeled）

训练样本集D_u={x_l+1, x _l+2,…, x_l+u}，u远大于l，这u个样本的类别标记未知。

监督学习技术是基于有标记样本D_l的训练来构建模型，未标记样本D_u所包含的信息未被利用；如果有标记样本D_l样例少的话，学得的模型泛化能力也不强，因此需要考虑将未标记样本D_u利用起来。利用D_u学习模型的方法：

1）主动学习（activelearning）

先用D_l训练出一个模型，然后用这个模型去D_u样本中选择一个样本，并和专家进行交互将未标记转变为有标记样本，新标记样本重新训练模型…如此可大幅降低标记成本，只需通过少量未标记样本通过专家来标记就能改善模型，少的查询获得好的性能。

主动学习就是要引入专家知识，通过与外部交互来将部分未标记样本转变为有标记样本。如果不通过外部标记，还可以利用未标记样本，就是半监督学习的研发范围。

2）半监督学习

基于一个事实：未标记样本虽未直接包含标记信息，但若它们与有标记信息样本是从同样的数据源独立同分布采样而来，则它们所包含的关于数据分布的信息对建立模型是有帮助的。

半监督学习 （semi-supervised learning）：让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能。在现实任务中，未标记样本多、有标记样本少是一个比价普遍现象，如何利用好未标记样本来提升模型泛化能力，就是半监督学习研究的重点。

要利用未标记样本，需假设未标记样本所揭示的数据分布信息与类别标记存在联系。

一是聚类假设（cluster assumption），假设数据存在簇结构，同一个簇的样本属于同一个类别。另一个是流形假设（manifold assumption），假设数据分布在一个流形结构上，邻近的样本拥有相似的输出值；邻近程度用相似程度来刻画，距离计算大概就是最基础的。

流形假设可看作是聚类假设的推广，不过流形假设对输出值没有限制，比聚类假设的适用范围更广，可用于更多的学习任务。二者的本质是一样的，都基于相似的样本拥有相似的输出这样一个假设。

半监督学习可进一步划分为纯(pure)半监督学习和直推学习（transductive learning）：纯半监督学习假定训练数据中的未标记样本并非待预测数据；而直推学习假定学习过程中所考虑的未标记样本恰是待预测数据，学习的目的就是在未标记样本上获得最优泛化性能。

纯半监督学习是基于开放世界的假设，希望学得的模型能适用于训练过程中未观察到的数据；而直推学习是基于封闭世界假设，仅试图对学习过程中观察到的未标记数据进行预测。

13.2生成式方法

生成式方法（generativemethods）是直接基于生成式模型的方法。该方法假设所有数据（无论是否有标记）都是由同一潜在的模型生成的。通过这个假设通过潜在模型的参数将未标记数据与学习目标联系起来，而未标记数据的标记可作为模型的缺失参数，通常基于EM算法进行极大似然估计求解。生成式方法的重点是对于生成式模型的假设，不同的模型假设将产生不同的方法。当然这个方法的关键也就是这个模型假设必须准确，即假设的生成式模型必须与真实数据分布吻合；否则利用未标记数据反倒会降低泛化性能。该方法简单实现