自步学习-Self-paced Learning

自步学习和其他方法区别

机器学习方法中也存在相关方法用于选择样本，例如：主动学习（active learning）和协同训练（co-training）。自步学习与二者的区别在于自步学习中所有样本的标签是完全存在的，在每次迭代过程中，我们可以通过计算预测值和标签的差别来选择置信度高的样本。而主动学习和协同训练往往应用于半监督学习框架，其中主动学习倾向于选择当前模型下确定性或置信度低的样本，而协同训练则是从无标签数据中选择分类器认为置信度可能高的样本，选择的样本并没有标签，无法断定估计结果是否准确。相比之下，自步学习则是选择预测值与真实值接近的、即分类器可以分辨的置信度真的高的样本。引用自：Self-paced Learning 自步学习

主动学习模型

自步学习

把一堆数学课程书全部给小孩学习，他会优先选择简单的一年级课程开始学习，接着是二年级、三年级等顺序学习，这个难易学习顺序是学校根据以往的教学经验确定的，这就是根据先验知识赋予样本学习先后顺序的课程学习。

自步学习改进了课程学习，学习算法在每一步迭代中决定下一步学习样本，这个小孩会根据自己的当前状态来选择简单的课程进行学习，这个难易程度不一定是按照年级来分的，由他自己决定。参考自：自步学习（Self-paced Learning）