Knowledge Distillation: A Survey文献阅读

最新推荐文章于 2024-03-30 15:25:57 发布
最新推荐文章于 2024-03-30 15:25:57 发布
阅读量1.6k 收藏 1
点赞数 1
分类专栏： 车牌识别 文献阅读笔记 文章标签： 蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_daxia/article/details/107910921
版权
车牌识别 同时被 2 个专栏收录
45 篇文章 54 订阅 ¥19.90 ¥99.00
订阅专栏
文献阅读笔记
15 篇文章 1 订阅
订阅专栏

知识蒸馏用于压缩模型

知识分为：基于响应、基于特征和基于关系。如下图：

1

基于响应的产生softlabel。

基于特征的可以学习特征图、激活图等。

关系图为上述两种的混合。如两种特征图的关系（FSP）、多个老师模型构建关系图、数据的结构知识等。

蒸馏方案：

离线蒸馏、在线蒸馏、自我蒸馏。如下图

2

离线蒸馏：先预训练教师模型、蒸馏时教师模型只复制产生知识。

在现蒸馏：教师模型和学生模型同时训练。

自我蒸馏：教师模型和学生模型使用同一个网络，所以可以看作一个特殊的在线蒸馏。可以自己的高级特征--》低级特征蒸馏，早一点的epoch-》晚一点的epoch

可以看作老师教学生、老师和学生一起学习和学生自己学习～～～

了解本专栏 订阅专栏 解锁全文
yang_daxia
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
订阅专栏
知识蒸馏 综述 Knowledge Distillation: A Survey
doctor_strange****
04-26 8594
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
qq_39710087的博客
04-02 5767
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述2021 摘要 近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务中。深度学习的巨大成功主要归功于它的可扩展性，可以对大规模数据进行编码，并操纵数十亿个模型参数。然而，在资源有限的设备（如手机和嵌入式设备）上部署这些繁琐的深度模型是一个挑战，这不仅是因为计算复杂度高，而且还因为存储需求大。为此，人们开发了各种模型压缩和加速技术。作为模型压缩和加速的一种典型类型，知识蒸馏有效地从大型教师模型中学习小型
知识提炼：一项调查 Knowledge Distillation: A Survey
最新发布
VS2021的专栏
03-30 32
原文地址：https://link.springer.com/article/10.1007/s11263-021-01453-z?抽象近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务方面。深度学习的巨大成功主要归功于其可扩展性，可以对大规模数据进行编码并操纵数十亿个模型参数。然而，在资源有限的设备（例如手机和嵌入式设备）上部署这些繁琐的深度模型是一项挑战，这不仅是因为计算复杂度高，而且存储需求很大。为此，已经开发了各种模型压缩和加速技术。
Knowledge Distillation论文阅读之：综述文章：Knowledge Distillation: A Survey（未完待续····）
qq_42902997的博客
11-04 4833
只挑重点的说，不是翻译论文 文章目录Abstract1. Introduction2. Background3. Knowledge3.1 Response-base Knowledge3.2 Feature-Based Knowledge3.3 Relation-Based Knowledge Abstract 本问提供了 KD 的复杂研究包括了下述方面： KD 的种类 训练方案 teacher-student 结构 蒸馏算法 表现对比和实际应用 在此基础上，简要回顾了知识蒸馏面临的挑战，并对未来的研
【论文阅读笔记】---《A Survey of Model Compression and Acceleration for Deep Neural Networks》
u012101561的博客
05-03 5817
  论文：A Survey of Model Compression and Acceleration for Deep Neural Networks               深度神经网络模型压缩与加速综述       摘要--深度卷积神经网络（CNN）目前在很多视觉识别任务中有非常良好的表现。然而，目前的深度卷积神经网络模型非常耗费计算资源和内存，面临着在终端部署和低延迟需求场景下难...
Knowledge Distillation: Principles, Algorithms, Applications
bbbeoy的专栏
11-09 572
Large-scale machine learning and deep learning models are increasingly common. For instance, GPT-3 is trained on 570 GB of text and consists of 175 billion parameters. However, whilst training large models helps improve state-of-the-art performance, depl..
Knowledge-Distillation:博客https
05-08
用Keras进行知识蒸馏Keras实施Hinton的知识蒸馏（KD），这是一种将知识从大模型转移到小模型的方法。概括我使用Caltech-256数据集对该技术进行了演示。... 结果： 模型准确性， ％ 前5个准确度，％ 对数损失Xception ...
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新...
awesome-knowledge-distillation:很棒的知识提炼
04-01
，A。Blum，T。Mitchell，1998年 ，Thomas G. Dietterich，2000年 ，Rich Caruana，2006 ，杰弗里·欣顿（Geoffrey Hinton），奥里尔·维尼亚尔斯（Oriol Vinyals），杰夫·迪恩（Jeff Dean），2014年 ，Philip ...
knowledge-distillation:知识图的站点爬虫
05-08
1. knowledge-distillation是什么？在很多垂直领域，都有搜索和与情分析的需求。虽然有很多开源的爬虫，搜索引擎，数据抽取，自然语言处理，文本挖掘的工具，但是没有一个完整的开源项目提供简单可用的系统。 ...
Self-Distillation: Towards Efficient and Compact Neural Networks
01-15
【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络 在过去的几年里，深度神经网络取得了显著的成就。然而，神经网络精度的突破总是伴随着计算和参数的爆炸式增长，这导致了模型部署的严重限制。...
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
【综述】2021-Knowledge Distillation: A Survey
简单记录生活、学习
03-29 567
本文来源于：
知识蒸馏之Knowledge Distillation: A Survey
qq_41950533的博客
02-07 401
International Journal of Computer Vision 2021 Jianping Gou1 · Baosheng Yu 1 · Stephen J. Maybank 2 · Dacheng T ao1 1 UBTECH Sydney AI Centre, School of Computer Science, Faculty of Engineering, The University of Sydney, Darlington, NSW 2008, Australia. 2 D
【深度学习】（一）知识蒸馏
mjiansun的专栏
08-17 1885
近年来，知识提炼中的神经结构搜索，即在教师模型的指导下，对学生结构和知识转移进行联合搜索，将是未来研究的一个有趣课题。Offline Distillation缺点是教师网络通常容量大，模型复杂，需要大量训练时间，还需要注意教师网络和学生网络之间的容量差异，当容量差异过大的时候，学生网络可能很难学习好这些知识。然而，现有的在线方法（如相互学习）通常不能解决在线设置中的大容量教师，因此，进一步探索在线设置中教师和学生模型之间的关系是一个有趣的话题。这部分将探讨的教师模型和学生模型的结构之间的关系，如上图所示。.
Knowledge Distillation A Survey - 知识蒸馏综述
qq_41982726的博客
04-11 985
2020IJCV - Knowledge Distillation A Survey -arXiv2006.05525 文章目录2020IJCV - Knowledge Distillation A Survey -arXiv2006.05525模型压缩常见方法知识蒸馏主要思想本文贡献知识 Knowledge蒸馏方案 Distillation Schemes师生架构 Teacher-Student Architecture蒸馏算法 Distillation Algorithms性能比较应用结论和讨论 @ar
Knowledge Distillation
zhangjf26的博客
08-07 5020
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
综述 | 知识蒸馏（1）
idol24的博客
07-21 2959
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！Knowledge Distillation: A Surveyhttps://arxiv.or...
revisiting knowledge distillation: an inheritance and exploration framework
12-02
这篇论文回顾了知识蒸馏的概念，并提出了一个继承和探索的框架。知识蒸馏是一种模型压缩的技术，它通过将复杂模型的知识传递给简化的模型来提高模型的性能和效率。在这篇论文中，作者们指出知识蒸馏不仅仅是一种模型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yang_daxia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值