【论文精读】Learn from Neighbour: A Curriculum that Train Low Weighted Samples By Imitation

Learn from Neighbour: A Curriculum that Train Low Weighted Samples By Imitation

原文地址:Learn from Neighbour: A Curriculum that Train Low Weighted Samples By Imitation

这篇文章提出了一种新的课程学习的策略(见论文第4节),主要思想就是,一开始学习比较容易的数据,避免较为困难的数据造成的训练时的波动,较为困难的数据在后面学习,但并非直接学习,而是使其与特征接近但更为简单的样本保持类似,这种课程损失由两部分组成,一部分叫做“Feature Learning from Neightbourhood”:

在这里插入图片描述

另一部分叫“Data-Specific Curriculum Loss”:

在这里插入图片描述

α\alpha的作用就是使得一开始训练简单的样本,随着epoch增大,逐渐关注困难的样本。

发布了16 篇原创文章 · 获赞 7 · 访问量 1万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览