知识蒸馏
盏茶y
学习,是一生的事业。
展开
-
【阅读笔记】DeepVID: Deep Visual Interpretation and Diagnosis for Image Classifiers
摘要深度神经网络(DNN)由于其卓越的性能而被广泛用于多个学科。但是,在大多数情况下,DNN被视为黑盒子,对其内部工作机制的解释通常具有挑战性。鉴于模型信任通常建立在对模型如何工作的理解的基础上,DNN的解释变得更加重要,尤其是在安全关键应用(例如,医疗诊断,自动驾驶)中。在本文中,我们提出了DeepVID,一种用于视觉解释和诊断DNN模型的深度学习方法,尤其是图像分类器。具体来说,我们训...原创 2019-04-20 23:02:27 · 566 阅读 · 0 评论 -
【阅读笔记】KDGAN: Knowledge Distillation with Generative Adversarial Networks
知识蒸馏(KD)的目标是训练一种轻量级分类器,能够在多标签学习资源受限的情况下提供精确的推理。分类器不是直接使用特征标签对,而是由教师进行训练,即这是一个高能力的模型,它的培训可能需要大量资源。这种方法训练的分类器的精度通常不是理想的,因为很难从教师那里学习到真实的数据分布。另一种方法是在类似于生成对抗性网络(GAN)的二人博弈中,对分类器进行对抗性训练,以保证分类器在博弈均衡状态下...原创 2019-04-10 15:57:09 · 2622 阅读 · 0 评论 -
【阅读笔记】Training Deep Neural Networks in Generations: A More Tolerant Teacher Educates Better Students
Training Deep Neural Networks in Generations:A More Tolerant Teacher Educates Better Students是CVPR2018的一篇文章,在知识蒸馏方向对于教师模型和学生模型的学习效果进行了进一步的探讨,在阅读本文之前,需要考虑两个问题, (1)为什么教师和学生网络之间的学习会有效? 注:在知识蒸馏...原创 2019-03-28 16:51:07 · 1713 阅读 · 0 评论