学习笔记：Self-Paced Learning

 

自步学习类似于主动学习（active learning）从未知标签中选取数据加入已知标签训练，不同的是，主动学习每次选取具有特征最丰富的点，然后将这个点返回到数据库中去查询，得到一个LABEL然后去更新分类器。然而，自步学习起源于课程学习（curriculum learning），它根据学生的学习能力去选取课程，因而自主学习每次选取最简单的特征点集，然后到复杂，每次选取的个数不同，这样训练的好处就是减少熵值，训练出潜在的权重参数。

自主学习的目标：

 

 

其潜在权重为V.选取的方式有很多种，每篇论文都会提出一个方法。

 

 

但是，在我近期看的论文中，用 negative l1-norm regularizer方法：

同时作者还提出了一个多样性的方法the negative l2,1-norm：

 

 

通过反复训练可以得到权重W和潜在权重V。

参考文献：L. Jiang, D. Meng, S. -I. Yu, Z. Lan, S. Shan, and A. Hauptmann, “Self-paced learning with diversity,” in Proc. Adv. Neural Inf. Process. Syst., 2014, pp. 2078–2086.