自步学习

   现有机器学习方法都需要解决非凸优化问题，例如学习感知机或深度置信网，传统的优化方法在避免非凸优化问题陷入较差局部解时，往往采用多次随机初始化方式训练模型，然后选择其中效果最好的初始化结果构建模型。然而这种方法过于adhoc，而且计算代价过高。课程学习和自步学习最开始就是作为解决非凸优化问题而提出的。Bengio教授在2009年ICML上提出课程学习，而自步学习则是在课程学习的基础上，由Koller教授团队在2010年NIPS上将该思想建立为具有理论基础的数学表达形式。课程学习和自步学习的核心思想是通过模拟人的认知机理，首先学习简单的、普适性的知识结构，然后逐渐增加难度，过渡到学习更复杂、更专业化的知识。

课程学习是对于特定问题而言，根据先验知识或启示赋予样本不同的学习特性或学习先后顺序。

例如：大学课程中一般会设定先学习线性代数，然后再学习高等数学，这其中是根据先验知识

对知识学习顺序的指定（instructor driven）；在自然语言处理中，如果我们人为指定数据输入顺

序按照短句——长句、简单句——复杂句的方式也可视为是利用课程学习训练模型的一种体现。

相对于课程学习，自步学习则是对于已学习获得的模型而言，赋予样本不同的学习难易程度

（easiness or confidance）。例如：我们完成9年义务教育准备高考复习时，会做一本习题书

《5年高考-3年模拟》。假设，我们做第一遍试题时仅会做简单的加减乘除，复杂的微积分都做错。

随着不断的重复做