【论文精读】Learn from Neighbour: A Curriculum that Train Low Weighted Samples By Imitation

Learn from Neighbour: A Curriculum that Train Low Weighted Samples By Imitation

原文地址：Learn from Neighbour: A Curriculum that Train Low Weighted Samples By Imitation

这篇文章提出了一种新的课程学习的策略（见论文第4节），主要思想就是，一开始学习比较容易的数据，避免较为困难的数据造成的训练时的波动，较为困难的数据在后面学习，但并非直接学习，而是使其与特征接近但更为简单的样本保持类似，这种课程损失由两部分组成，一部分叫做“Feature Learning from Neightbourhood”：

另一部分叫“Data-Specific Curriculum Loss”：

$\alpha$的作用就是使得一开始训练简单的样本，随着epoch增大，逐渐关注困难的样本。