- 博客(2)
- 资源 (4)
- 收藏
- 关注
原创 蒸馏法第一节——从头说起 Distilling the knowledge in a neural network
论文:G. Hinton, O. Vinyals, and J. Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015. hinton大神2015年发表的蒸馏法,可以说掀起了一阵风潮啊~~本人很喜欢hinton大神的文章,当年SDAE看完也是这...
2019-05-28 17:46:52 579
原创 蒸馏法文章选读——Correlation Congruence for Knowledge Distillation
7, Correlation Congruence for Knowledge Distillationhttps://arxiv.org/abs/1904.018021),创新点:原始的蒸馏法只是用学生网络的某个向量去拟合教师网络的该向量,无论是kl散度还是欧式距离,只是向量之间的映射;但是由于教师网络和学生网络本来的差异性,所以不应该仅仅学习教师网络和学生网络单个样本向量间差异,还应该...
2019-05-06 17:34:07 2316
SDAE - 副本.zip
2019-06-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人