论文题目:On The Power of Curriculum Learning in Training Deep Networks
作者:Guy Hacohen Daphna Weinshall (The Hebrew University of Jerusalem)
时间:2019
论文链接:https://www.researchgate.net/publication/332299977_On_The_Power_of_Curriculum_Learning_in_Training_Deep_Networks
Github链接:https://github.com/GuyHacohen/curriculum_learning
摘要
- 本文主要研究 curriculum learning 在训练深层网络中的效用,从实验结果和理论推导两个方面来说明。
- 实现CL的两个关键点:对样本的训练难度排序;计算出难度递增的mini-batches序列。
- 对样本的训练难度的排序:transfer learnning 和 bootstrapping。
- 挑选难度递增的 mini-batches 序列:对排序序列根据不同的 pacing function 进行采样。
- CL的效用:对收敛速度和最后的准确度都有提升
1 简介
- CL问题介绍
- 模仿人类学习的过程,先学简单的ÿ