本文提出了CurriculumLearning的概念，这是一种训练策略，通过模拟人类的学习过程，从简单的例子开始逐步增加难度，以提升深度神经网络的泛化能力和收敛速度。研究表明，这种策略能帮助找到非凸优化问题的更好局部最小值，且在测试集上的效果优于常规方法，加速了达到全局最小值的训练过程。
Curriculum Learning, ICML, 2009
要点
1、训练策略形式化，显著提高泛化能力，更快的收敛速度
2、假设：精心选择的课程策略可以作为一种连续方法（continuation method）——能够帮助找到更好的非凸训练准则的局部最小值
3、实验证明，课程策略类似于正则器，增益效果在测试集上更为明显，可以加速训练收敛到全局最小值
4、
相关工作
深度神经网络训练的难优化问题
1、深度学习方法尝试学习特征层次结构，认为高级别特征是由低级别特征组成的
2、自动学习多个抽象级别可以使模型获得输入映射到输出的复杂函数（不依赖于人工特征）
3、
图表
计算架构
给定前一个样本，深度神经网络计算下一个样本分数的架构
509
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
