[机器学习] 第十三章 半监督学习 2. Proxy-label Methods

目录

一、基本假设（Base Assumptions）

1.1 平滑假设（The Smoothness Assumption）

1.2 集群假设（The Cluster Assumption）

1.3 流形假设（The Manifold Assumption）

二、一致正则化

2.1 Pi-Model (ICLR2017)

2.2 Temporal Ensembling (ICLR2017)

2.3 Mean teachers (NIPS 2017)

2.4 Unsupervised Data Augmentation（无监督数据增加）

3. Proxy-label Methods（代理标签方法）

3.1 Self-training

3.2 Multi-view training

3.2.1 Co-training

3.2.2 Tri-Training

---

参考：https://zhuanlan.zhihu.com/p/252343352

在现实生活中，无标签的数据易于获取，而有标签的数据收集起来通常很困难，标注也耗时和耗力。在这种情况下，半监督学习（Semi-Supervised Learning）更适用于现实世界中的应用，只需要 少量有带标签的样本 和 大量无标签的样本，而本文主要介绍半监督学习的三个基本假设和三类方法。

一、基本假设（Base Assumptions）

半监督算法仅在数据的结构保持不变的假设下起作用，没有这样的假设，不可能从有限的训练集推广到无限的不可见的集合。具体地假设有：

1.1 平滑假设（The Smoothness Assumption）

样本相似，输出也相似。

如果两个样本 x1，x2 相似则它们的相应输出 y1，y2 也应如此。这意味着如果两个输入相同类，并且属于同一簇ÿ