- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
ICLR-2018摘要深度学习网络在计算机视觉工作（如图像分类和对象检测）方面取得了最先进的准确性。然而，高性能系统通常涉及具有许多参数的大型模型。一旦训练完成，这些表现最佳的模型的一个挑战性方面就是在资源受限的推理系统上进行部署 - 模型（通常是深度网络或宽网络或两者）都是计算和内存密集型的。使用低精度数值和基于知识蒸馏的模型压缩是降低这些部署模型的计算要求和内存占用的常用技术。在本...
2018-07-16 19:33:11
1666
原创 Model Distillation with Knowledge Transfer in Face Classification, Alignment and Verification
ICLR-2018摘要知识蒸馏是模型压缩的潜在解决方案。这个想法是让一个小型学生网络模仿大型教师网络的目标，然后学生网络可以与教师网络竞争。以前的大多数研究都集中在分类任务中的模型蒸馏，他们为学生网络提出了不同的体系结构和初始化。但是，只有分类任务是不够的，并且几乎不考虑其他相关任务，例如回归和检索。为了解决这个问题，本文以人脸识别为切入点，提出了从人脸分类到对齐和验证的知识转移模型。...
2018-07-16 11:57:40
1035
原创 最新模型压缩技术导向
paper-list1.Distilling the Knowledge in a Neural Networkhiton的经典之作，大体上就是用softmax/t 代替softmax去用大网络学小网络，在mnist等小数据集取得了积极的结果。但是缺乏在imagenet之类的大叔据集的结果，用来训练的模型也是比较小的2.Mimicking Very Efficient Netw...
2018-07-16 11:03:35
537
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人