从continuation method 到课程学习(Curriculum Learning)

continuation method是一种思想，就是不能一口吃个胖子，一步一步的解决问题。

ch

初衷是为了解决非凸问题的解决，就如上图的黑色。  分步骤的方法有很多。其中就包括了上图的红色，对黑色做模糊处理。

课程学习，以及基于课程学习(Curriculum Learning)的自步学习Self-paced Learnings是另外一种思路。就是学习要从简单的开始，一步一步来。先学初等数学，再学高等数学。

课程学习的原始论文里，作者先调了几个简单的图像学习，再逐渐加入复杂的图像。要学一只狗，一个照片里只有一只狗，就是简单图像。这只狗很小，蜷缩在一堆柴火堆里，这就是复杂图像。

具体实现上，下面这个公式很能说明问题。

一般的学习里面，没有v，v的作用就是本轮学习，需要加入的样本。当v = 0时，这个样本是不加入本次学习。v 全是0，也就是不学习，损失是最小的。

这么想是错误，错在哪呢？  因为我们要研究的所有样本，首先假设样本都参与进来，然后，看谁贡献大，所以，后面就有红色的减号后面的部分。每个样本都加1，然后，看谁贡献的少。先给每个样本机会，再让他们赛跑。

随着学习的深入，我们需要加入越来越的样本，直到所有样本的加入。

所以，就加了代表轮次的1/K，轮次越多，加入的样本越多。