流形正则化

流形正则化

最近看到一篇新论文《基于点态流形正则化的半监督学习》，关于这的讲解不多，先学一下流形正则化。

以下是关于论文的摘要：
流形正则化(MR)为同时使用标记和未标记数据的半监督分类提供了一个强大的学习框架。
依据流形假设，MR约束在流形结构图上的相似实例共享相似的分类输出。因此，MR基于流形图上的成对光滑性。光滑性的约束对象为所有实例对，从而将各实例对视为单个操作对象。然而，平滑性在本质上可以是点态的，即平滑性发生在“任何地方”，将各实例的行为与其近邻相联系。本文试图通过对各局部实例进行约束，提出半监督学习的点态MR（简称PW_MR）。在PW-MR中，平滑性的点态性质得以保留，同时可引入单个实例的重要性或贡献。重要性可用正确预测的置信度或局部密度描述。PW_MR为实现流形光滑性提供了不同思路。最后实验验证了PW_MR的有效性。

半监督学习是用大量的无标签样本结合部分有标签样本进行训练。

步骤：
首先是无监督学习找出分布信息，然后给分布信息贴上有监督的标签，为有监督的样本提供足够的样本分布信息，那么分类能力就可以得到提升和保证。这就是半监督学习要做的主要工作。

在流形正则化中，就是通过流形正则化项来达到结合有监督和无监督样本来找出分布特征的目的。
其实就是在机器学习问题中的正则化项中加入和流形相关的项，利用数据中的几何结构，起到半监督的作用，

比如：两个样本在流形中距离相近，那么他们的label也应该一样或相似。

应用中这么几个作用：

1. 利用样本的空间分布信息
2. 给有监督模型加流形正则化，可以尽可能多得利用无监督的数据，使得模型转化为半监督模型