知识蒸馏之Knowledge Distillation: A Survey

最新推荐文章于 2024-03-31 11:17:34 发布
最新推荐文章于 2024-03-31 11:17:34 发布
阅读量444 收藏 8
点赞数 10
文章标签： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41950533/article/details/124798353
版权

International Journal of Computer Vision 2021
Jianping Gou1 · Baosheng Yu 1 · Stephen J. Maybank 2 · Dacheng T ao1
1 UBTECH Sydney AI Centre, School of Computer Science,
Faculty of Engineering, The University of Sydney, Darlington,
NSW 2008, Australia.
2 Department of Computer Science and Information Systems,
Birkbeck College, University of London, UK.

1.知识

在知识蒸馏中，最重要的三个部分是：
知识类型（knowledge type）、蒸馏方法（distillation strategies）、师生结构（teacher-student architecture）
本文着重研究的是知识类型：基于响应的知识 response-based knowledge、基于特征的知识feature-based knowledge和基于关系的知识 relation-based knowledge.
请添加图片描述

1.1基于响应的知识 response-based knowledge

请添加图片描述
response-based knowledge 通常是指教师模型中最后一个输出层的神经响应。其主要思想是直接模仿教师模型的最终预测结果,hintons设计的蒸馏算法如下：

请添加图片描述

1.2基于特征的知识feature-based knowledge

利用多级特征，这种蒸馏方式适用于更狭窄但是层数更深的网络的训练。其主要思想是直接匹配教师和学生网络的中间层的激活特征
请添加图片描述
请添加图片描述

Diros1g
关注
  • 10
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Knowledge Distillation: A Survey文献阅读
yang_daxia的博客
08-10 1624
知识蒸馏用于压缩模型 知识分为：基于响应、基于特征和基于关系。如下图： 基于响应的产生softlabel。 基于特征的可以学习特征图、激活图等。 关系图为上述两种的混合。如两种特征图的关系（FSP）、多个老师模型构建关系图、数据的结构知识等。 蒸馏方案： 离线蒸馏、在线蒸馏、自我蒸馏。如下图 离线蒸馏：先预训练教师模型、蒸馏时教师模型只复制产生知识。 在现蒸馏：教师模型和学生模型同时训练。 自我蒸馏：教师模型和学生模型使用同一个网络，所以可以看作一个特殊的在线蒸馏。可以自己的高级特
Knowledge-Distillation:博客https
05-08
用Keras进行知识蒸馏Keras实施Hinton的知识蒸馏（KD），这是一种将知识从大模型转移到小模型的方法。概括我使用Caltech-256数据集对该技术进行了演示。 我将知识从Xception转移到MobileNet-0.25和SqueezeNet v1.1。 ...
Knowledge Distillation论文阅读之：综述文章：Knowledge Distillation: A Survey（未完待续····）
qq_42902997的博客
11-04 4927
只挑重点的说，不是翻译论文 文章目录Abstract1. Introduction2. Background3. Knowledge3.1 Response-base Knowledge3.2 Feature-Based Knowledge3.3 Relation-Based Knowledge Abstract 本问提供了 KD 的复杂研究包括了下述方面： KD 的种类 训练方案 teacher-student 结构 蒸馏算法 表现对比和实际应用 在此基础上，简要回顾了知识蒸馏面临的挑战，并对未来的研
知识蒸馏 综述 Knowledge Distillation: A Survey
doctor_strange****
04-26 9720
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
Knowledge Distillation A Survey - 知识蒸馏综述
qq_41982726的博客
04-11 1017
2020IJCV - Knowledge Distillation A Survey -arXiv2006.05525 文章目录2020IJCV - Knowledge Distillation A Survey -arXiv2006.05525模型压缩常见方法知识蒸馏主要思想本文贡献知识 Knowledge蒸馏方案 Distillation Schemes师生架构 Teacher-Student Architecture蒸馏算法 Distillation Algorithms性能比较应用结论和讨论 @ar
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
qq_39710087的博客
04-02 6132
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述2021 摘要 近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务中。深度学习的巨大成功主要归功于它的可扩展性，可以对大规模数据进行编码，并操纵数十亿个模型参数。然而，在资源有限的设备（如手机和嵌入式设备）上部署这些繁琐的深度模型是一个挑战，这不仅是因为计算复杂度高，而且还因为存储需求大。为此，人们开发了各种模型压缩和加速技术。作为模型压缩和加速的一种典型类型，知识蒸馏有效地从大型教师模型中学习小型
【综述】2021-Knowledge Distillation: A Survey
无偿、有效的解释和解决AI 4 Science中的问题和难点
03-29 624
本文来源于：
人工智能-项目实践-知识蒸馏-knowledge distillation 采用知识蒸馏，训练bert后指导textcnn
12-26
运行 0. 配置config下文件 数据格式见：./data/data_sample.json 1. 数据预处理，获得word2idx, label2...3. 训练textcnn(主要用于观察没有蒸馏时的性能) python train_textcnn.py 4. 训练蒸馏模型 python train_KD.py
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新...
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算资源使用...
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
awesome-knowledge-distillation:很棒的知识提炼
04-01
很棒的知识提炼 =============================== 文件 ，LK Hansen，P。Salamon，1990年 ，安德烈斯·克罗格（Andres Krogh），杰斯珀·韦德尔斯比（Jesper Vedelsby），1995年 ，A。Blum，T。Mitchell，1998年 ，...
每日论文230924-Knowledge DIstilliation: A Survey
qq_19859865的博客
09-24 77
随着AI应用的增加，在手机或者其他终端设备上进行算法部署也遇到了更多挑战。模型压缩的相关技术：论文结构。
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 2万+
知识蒸馏综述
知识蒸馏(Knowledge Distillation)
weixin_44125346的博客
09-11 2653
知识蒸馏(Knowledge Distillation) 从大型、深层的教师网络中提炼知识并转移到小型、简单的学生网络中 更深更广→更浅更薄 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LtOe5CiH-1631343439036)(F:\Blog\image\知识蒸馏1.PNG)] 知识(Knowledge) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mQBacMmn-1631343439039)(F:\Blog\image\知识蒸馏2
万字综述 | 一文读懂知识蒸馏
u012347027的博客
12-20 1万+
知识蒸馏综述摘要知识蒸馏简介知识Response-Based KnowledgeFeature-Based KnowledgeRelation-Based Knowledge蒸馏离线蒸馏（Offline Distillation）在线蒸馏（Online Distillation）自我蒸馏（Self-Distillation）师生架构蒸馏算法对抗蒸馏（Adversarial Distillation）多教师蒸馏（Multi-Teacher Distillation）跨模态蒸馏（Cross-Modal Dist
一文看懂“知识蒸馏”技术
weixin_42010722的博客
03-24 1920
过去几年中，深度学习已成为人工智能许多成功的基础，包括计算机视觉中的各种应用、强化学习。随着许多最新技术的帮助，包括残差连接和批量归一化，可以在强大的GPU或TPU集群上轻松训练数千层的非常深的模型。例如，使用数百万图像的流行图像识别基准测试可以在不到十分钟的时间内训练出ResNet模型；训练强大的BERT语言理解模型不需要超过一个半小时。大规模的深度模型取得了压倒性的成功，但是巨大的计算复杂度和大量的存储要求使得在实时应用中部署它们成为了一大挑战，尤其是在资源有限的设备上，比如视频监控和自动驾驶汽车。
知识蒸馏详解及pytorch官网demo案例
最新发布
qq_52048052的博客
03-31 1266
知识蒸馏，pytorch，demo，模型压缩方法，基于响应的知识，基于特征的知识，基于关系的知识；离线蒸馏，在线蒸馏，自蒸馏；师生架构
知识提炼：一项调查 Knowledge Distillation: A Survey
VS2021的专栏
03-30 101
原文地址：https://link.springer.com/article/10.1007/s11263-021-01453-z?抽象近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务方面。深度学习的巨大成功主要归功于其可扩展性，可以对大规模数据进行编码并操纵数十亿个模型参数。然而，在资源有限的设备（例如手机和嵌入式设备）上部署这些繁琐的深度模型是一项挑战，这不仅是因为计算复杂度高，而且存储需求很大。为此，已经开发了各种模型压缩和加速技术。
revisiting knowledge distillation: an inheritance and exploration framework
12-02
这篇论文回顾了知识蒸馏的概念，并提出了一个继承和探索的框架。知识蒸馏是一种模型压缩的技术，它通过将复杂模型的知识传递给简化的模型来提高模型的性能和效率。在这篇论文中，作者们指出知识蒸馏不仅仅是一种模型压缩的方法，而且还可以作为一种知识传承的方式，帮助理解和解释模型的行为。 在继承和探索的框架中，作者们提出了一种新的知识蒸馏方法，旨在充分利用先前模型中蕴含的知识，使得模型的表现和训练效果更加优秀。该框架还将知识蒸馏与迁移学习和领域自适应等方法相结合，为模型的进一步性能提升提供了可能。 此外，论文还对知识蒸馏的未来发展进行了展望，指出这一框架可以进一步扩展到更广泛的领域，如自然语言处理、计算机视觉和强化学习等方面。这将为研究者们提供更多的可能性和挑战，推动知识蒸馏技术在实际应用中的深入发展。 总的来说，这篇论文通过提出继承和探索的框架，对知识蒸馏的概念进行了重新探讨，并为未来的研究和发展方向提供了新的思路和方法。它为知识蒸馏技术的应用和扩展打开了新的可能性，对学术界和工业界都具有重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值