![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知识蒸馏
文章平均质量分 94
Terry_dong
我只是个搬运工
展开
-
Knowledge Distillation论文阅读之:综述文章:Knowledge Distillation
目录1. Introduction2. Background3. Knowledge3.1 Response-base Knowledge3.2 Feature-Based Knowledge3.3 Relation-Based Knowledge摘要本问提供了 KD 的复杂研究包括了下述方面:KD 的种类 训练方案 teacher-student 结构 蒸馏算法 表现对比和实际应用在此基础上,简要回顾了知识蒸馏面临的挑战,并对未来的研究方向进行了讨论和展望原创 2022-03-03 21:00:55 · 862 阅读 · 0 评论 -
知识蒸馏(Knowledge Distillation) 经典之作
知识蒸馏是一种模型压缩方法,是一种基于“教师-学生网络思想”的训练方法,由于其简单,有效,在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作:论文链接arxiv.orgKnowledge Distillation,简称KD,顾名思义,就是将已经训练好的模型包含的知识(”Knowledge”),蒸馏("Distill")提取到另一个模型里面去。今天,我们就来简单读一下这篇论文,力求用简单的语言描述论文作者的主要思想。在本文中,我们将从背景和动机讲起,然后着重介绍“知识蒸馏”原创 2020-08-02 14:45:28 · 2862 阅读 · 1 评论