知识蒸馏——Distilling the Knowledge in a Neural Network
Distilling the Knowledge in a Neural Network是知识蒸馏的开山之作,辛顿于2015年发表的一篇论文提出!主要原因是之前提出的各种模型,无论是VGG16,Resnet,还是其他一些模型,它们都对实时性没有要求,而且模型都很大,计算量大,所以这样的模型是很难在资源有限的小型移动设备上应用的,所以辛顿提出了知识蒸馏的思想,就是用比较大的网络作为教师网络(teacher network),训练出soft target,这种soft target会表示出分类的相对信息,通俗的
原创
2022-04-18 20:45:10 ·
895 阅读 ·
0 评论