半监督学习之了解

一、定义

　　　半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作；

二、self-training，即自我训练，也称之为伪标签技术，初代半监督思想的经典代表

　　　其基本思路就是，在已标记的数据上训练，然后对未标注数据进行预测，取预测置信度最高的样本直接对其进行标签定义，然后将这类样本纳入当前训练样本中继续训练，直到模型的预测结果不再发生变化；

如果是分类问题：选择预测概率最有把握的样本的标签作为真实的标签（例如概率为0.99或者概率未0.01的预测标签），将预测然后将得到的有标注的数据加入原始数据继续进行训练，再预测，一直到达停止条件（例如大部分甚至全部unlabeled的样本都被打上了标签），此时，我们就把未标注的样本通过这种方式标注出来了；

如果是回归问题，则进行第一轮预测，将预测结果作为新的标签，然后将unlabeled和labeled的数据合并进行训练，再进行第二次预测，计算两次预测的结果中，unlabeled数据的误差情况，取误差最小的部分样本直接进行标签的定义，最后按照上述的思路反复迭代一直到误差收敛为止，此时，我们就把未标注的样本通过这种方式标注出来了；

参考：半监督学习 - 知乎