课程学习:首先学习简单的、普适性的知识结构,然后逐渐增加难度,过渡到学习更复杂、更专业化的知识。
self-paced learning通过添加一个正则项(SP-regularizer),使得模型可以自动挑选简单的样本先训练。
这个正则项就是下面的f,L函数是传统的损失函数,vi是权值,其可能的取值为{0,1}, 也就是是否选择该样本做训练,vi通过f来控制,也就是增则项f决定是否选择此样本。
其中f是v的递减函数,是
λ
\lambda
λ的增函数
- 不选此样本(v=0):当v=0的时候的E>当v=1的时候的E。当v=0时,E=f,当v=1时E=L,若E=f>E=L,就说明L大,复杂,不选这个复杂样本。
- 选此样本(v=1):E=f<E=L,就说明L小,简单,选这个样本。
- λ \lambda λ越大,f越大,这时候更多的样本会是E=L,也就是更多的复杂样本被选择。