这篇文章旨在介绍自步学习的基本概念及最基础的算法原理。
我们先看自步学习的定义,在了解自步学习之前,有必要看一看什么是课程学习:
-2009年Bengio教授在ICML上提出课程学习。
-课程学习是通过模拟人的认知机理,首先学习简单的、普适性的知识结构,然后逐渐增加难度,过渡到学习更复杂、更专业化的知识。
而自步学习在课程学习上进行了改进:
-Koller教授在2010年NIPS上给出了自步学习的数学表达。
两者的最主要区别是:
-课程学习:根据先验知识赋予样本学习先后顺序。如同在学习数学课程时,根据课本封面的信息(先验知识)从小学低年级到高年级进行学习。
-自步学习:学习算法在每一步迭代中决定下一步学习样本。
举同样的例子来说,就像是把所有的数学课课本同时给了右边的小朋友,而小朋友会根据课本内容的难易程度判断(和实际情况不一定相同)来一本一本的学习。(先学一本他认为最简单的,再学一本他认为次简单的...