【机器学习系列】《Combining Labeled and Unlabeled Data with Co-Training》读书笔记

原文链接：http://repository.cmu.edu/cgi/viewcontent.cgi?article=1181&context=compsci

co-training的开山之作，也算是半监督学习领域的重要分支吧，3000+的引用，08年被ICML评为“十年最佳论文”。当年的两位作者现在都是CMU的教授（其实二作是一作在CMU的导师，现在还待着一大票博士），都依然活跃在机器学习领域。

文章的思想很简单：假设样本空间X存在两个弱相关的子空间或子映射X1,X2，且这两个空间对于给定的label是一致的，即Y=F1(X1)=F2(X2),那么就可以在这两个子空间上交叉地使用分类器对unlabel的数据标注来提高分类准确率。

进一步的，作者证明了，若每个子空间的维度是N，则满足假设的前提下总的空间X的大小是N^2，在使用一个分类器的情况下，只需要NlgN的标注数据就可以把X上的数据都分对，而不需要全部的N^2个数据都进行标注；

另一方面，给定一个初始化的弱分类器C1，如果C2条件独立于C1且可学习，那用co-training算法是可以学习出分布<C1,C2>的；

证明及论证过程非常形式化，可见作者的数学功底不薄。

为了验证理论，作者从4个大学的计算机网站抓取了约1K的网页，在“这是不是一个课程主页？”的分类问题上应用了co-training算法，都已经人工标注好，其中约有22%的课程主页。1K个网页中随机抽取25%作为验证集，再随机抽3个正例和9个负例作训练集，以NB作为基础模型，X1是网页的词袋，X2是指向目标网页的链接组成的词袋；这两个基础特征集的分类误差都在12%，也就是50%、50%的准召吧；用了co-training后C1提高到6%，C2轻微提高到11.6，可以说都有帮助。