自步学习类似于主动学习(active learning)从未知标签中选取数据加入已知标签训练,不同的是,主动学习每次选取具有特征最丰富的点,然后将这个点返回到数据库中去查询,得到一个LABEL然后去更新分类器。然而,自步学习起源于课程学习(curriculum learning),它根据学生的学习能力去选取课程,因而自主学习每次选取最简单的特征点集,然后到复杂,每次选取的个数不同,这样训练的好处就是减少熵值,训练出潜在的权重参数。
自主学习的目标:
其潜在权重为V.选取的方式有很多种,每篇论文都会提出一个方法。
但是,在我近期看的论文中,用 negative l1-norm regularizer方法:
同时作者还提出了一个多样性的方法the negative l2,1-norm:
通过反复训练可以得到权重W和潜在权重V。
参考文献:L. Jiang, D. Meng, S. -I. Yu, Z. Lan, S. Shan, and A. Hauptmann, “Self-paced learning with diversity,” in Proc. Adv. Neural Inf. Process. Syst., 2014, pp. 2078–2086.