半监督学习[1]
当根据手头仅有的标注数据,会将一些虽然没有标注但可被观测到的数据进行一些合理的推测,其中推测主要基于两个假设:
- 聚类假设cluster assumption:假设数据间具有相同的聚类结构,同一类数据会落入同一个聚类类别内。
- 流形假设manifold assumption:假设数据分布在一个流形上,相近的样本具有相似的预测结果。
主要方式:
- 生成式方法(generative methods): self-training
- 基于图的方法(graph-based methods):标签传播法(Label Propagation Algorithm)
- 低密度分割法(low-density separation methods):强制分类边界穿过输入空间的低密度区域,如S3VMs
- 基于分歧的方法(disagreement methods):其实也是自训练的一种,算法会生成多个学习器,并让它们合作来挖掘未标注数据,其中不同学习器之间的分歧是让学习过程持续进行的关键,如联合训练(co-training)
主要架构:
- 无监督预训练,先用未标注数据预训练模型后,再用标注数据进行微调
- 伪有监督训练,先从有标签数据中获得特征,再利用这些特征对无标签数据进行分类,选出分类正确对数据加入训练,往复循环。这个过程可能会加入一定对无标签噪声干扰网络训练。
一致性正则化
Consistency Regularization<