多视角学习-协同训练

一．半监督学习

      在传统的有监督学习中，我们通过训练大量有标记数据得到一个强学习器，然后预测一个未知样例。而现实生活中，通常数据集中大量数据是无标记的，只有很少一部分是有标记的。比如在电子商务系统中，我们需要推荐用户感兴趣的商品，然而只有很少的用户会主动标记他们感兴趣的商品，系统中还存在着大量其他的商品，它们都可作为未标记示例来使用。我们的目标就是利用这些大量的、廉价的无标记数据帮助我们得到更好的训练模型。

      贝叶斯公式P(Ci|x)=ΣP(x|Ci)P(Ci)/P(x)，表明我们可以将先验概率P(Ci)转换为后验概率P(Ci|x)。P(Ci|x)代表在输入示例的特征向量x的条件下该示例类别属于Ci 的概率。我们能够从标记数据中计算出P(x|Ci)和P(Ci)，大量的无标记数据则有助于得到更接近于真值的p(x)。由贝叶斯公式可以看出p(x)能够影响到P(Ci|x)的值，也就是说大量的无标记数据是有助于分类器学习的。

 

二．协同训练

      协同训练是一种多视角学习方法，与我们熟知的单视角不同。比如在网页分类的问题中，网页拥有两个独立的视图即链接和网页内容。当数据充分时，在具有这种特征的数据集的任何一个视图上均可以利用一定的机器学习算法训练出一个强分类器。因为无论是链接还是