【论文笔记】Accelerated Training for Massive Classification via Dynamic Class Selection
众所周知,类别较多的时候深度学习中无论是计算量还是参数都是巨大的,训练效率也随之降低,所以本文介绍高效训练网络。观察发现: active class:对于一个输入样本,其输出概率只集中在少量的类别中; 在softmax loss回传梯度中: 在迭代过程中,回传梯度主要受这些活跃类(act...
原创
2018-06-12 16:10:10 ·
547 阅读 ·
0 评论