A survey on semi-supervised learning

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

期刊：Machine Learning（wos2区，中科院3区）(2020)

摘要

1. 对进二十年的半监督方法进行概述（主要是半监督分类）。
2. 提出了一种新的半监督分类算法。
3. 大多数半监督学习算法的基本假设是如何相互紧密联系的，以及它们与众所周知的半监督聚类假设之间的关系。

结论

• 第4节：包装方法。
  第6节：传统监督算法的半监督扩展。
  第6.3节和 第7节 ：基于图的方法。
  第5.3：半监督神经网络。
  第6.2：半监督正则化。
  第6.4：深度生成模型。
• 展望：聚类和分类之间的强烈区别会逐渐消失。

Introduction

• 4–6:包装
• 7：转导方法
• 8：半监督回归和聚类
• 9：展望

Background

半监督学习的假设：

1. 平滑假设（样本x₁和x₂离得越近，标签也离得越近）（输入空间）
2. 低密度假设（相同高密度）
3. 流形假设（同一低维）
4. 聚类假设

数据集：

• .cifar_10
• cifar_100
• SVHN
  …

范式;

一. 归纳法 （为整个输入空间构造分类器）
1.包装方法（可以理解先生成伪标签和有标签的数据不断迭代，一起训练）
优势：可以与任何有监督的基础学习器一起使用。
1）自训练
2）联合训练
a.多视图协同
b.单试图协同
c.协同正则化
3）Boosting
a.SSMBoost
b.ASSEMBLE
b.SemiBoost（损失函数与a很大不一样）
d.Other semi-supervised boosting methods

2.无监督预处理
本质上的半监督方法（监督方法扩展）

1. 特征提取
   主成分分析
   自动编码器
   1）去噪自动编码器
   2）收缩式自动编码器
2. 无监督聚类
3. 预训练
   1）深度信念网络
   2）堆叠自动编码器
4. 学习过程参数的初始化

3.本质上的半监督方法
1）Maximum-margin methods
1.1.Support vector machines
1.2.Gaussian processes
1.3.Density regularization
2)Perturbation-based methods（基于扰动的方法）
2.1.神经网络
2.2.半监督神经网络
2.3.梯形网络
2.4.Pseudo-ensembles
2.5.Π-model
2.6.Temporal ensembling
2.7.Mean teacher
2.8.Virtual adversarial training
2.9.Semi-supervised mixup
3)Manifolds
3.1.Manifold regularization
3.2.Manifold approximation
4）Generative models
4.1. Mixture models
4.2. Generative adversarial networks
4.3. Variational autoencoders

二. 直推法

1. 基于图的方法的通用框架
2. Inference in graphs
   Hard label assignments: graph min-cut
   Probabilistic label assignments: Markov random fields
   Efficient probabilistic label assignments: Gaussian random fields
   处理标签噪声和不规则图：局部和全局一致性
   Further research on graph-based inference
3. 图构建
   Adjacency matrix construction
   Graph weighting
   Simultaneous graph construction and weighting
4. Scalable transductive learning
5. 从直推到归纳
6. Classification in network data

Related areas

• 半监督回归
• 半监督聚类