知识蒸馏发展趋势、应用、扩展阅读

最新推荐文章于 2024-08-14 22:29:49 发布
最新推荐文章于 2024-08-14 22:29:49 发布
阅读量402 收藏 5
点赞数 5
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/llf000000/article/details/136390229
版权

发展趋势 

知识蒸馏代码库

OpenMMLab模型压缩工具MMRazor

GitHub - open-mmlab/mmrazor: OpenMMLab Model Compression Toolbox and Benchmark.

MMRazor is a model compression toolkit for model slimming and AutoML, which includes 4 mainstream technologies:

  • Neural Architecture Search (NAS)  神经架构搜索
  • Pruning 减枝
  • Knowledge Distillation (KD) 知识蒸馏
  • Quantization 量化

OpenMMLab模型转换与部署工具箱MMDeploy

把各种算法变成各种厂商支持的中间格式

GitHub - open-mmlab/mmdeploy: OpenMMLab Model Deployment Framework

12个SOTA知识蒸馏算法的Pytorch复现

GitHub - HobbitLong/RepDistiller: [ICLR 2020] Contrastive Representation Distillation (CRD), and benchmark of recent knowledge distillation methods

扩展阅读

 

 

pythonSuperman
关注
  • 5
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
知识蒸馏系列（一）：三类基础蒸馏算法OpenMMLabOpenMMLab​
u013250861的博客
05-31 87
知识蒸馏（Knowledge Distillation，简记为 KD）是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型（或多模型的 ensemble），在不改变学生模型结构的情况下提高其性能。2015 年 Hinton 团队提出的基于“响应”（）的知识蒸馏技术（一般将该文算法称为）掀起了相关研究热潮，其后基于“特征”（）和基于“关系”（）的 KD 算法被陆续提出。
大模型的知识蒸馏:从大模型中提取知识
禅与计算机程序设计艺术
05-05 247
1. 背景介绍 近年来，随着深度学习技术的飞速发展，大规模预训练语言模型（Large Language Models，LLMs）如BERT、GPT-3等在自然语言处理领域取得了显著的成果。这些模型拥有庞大的参数量和复杂的结构，能够从海量数据中学习到丰富的知识和语言规律，并在各种NLP任务中展现出优异的性能。然而，大模型也存在一些问题，例如：
知识蒸馏研究趋势展望
s_l_w_的博客
11-02 344
对知识蒸馏研究趋势的展望。
知识蒸馏：现状、挑战与未来发展
qq_28704101的博客
07-02 1036
知识蒸馏的核心原理是利用教师模型的输出（软标签）作为学生模型的训练目标。软标签不仅包括正确类别的概率，还包括其他类别的概率分布，这提供了更多的信息（例如类别之间的相似度）。通过最小化学生模型输出与教师模型软标签之间的差异（通常使用交叉熵损失），学生模型能够更好地学习和泛化。知识蒸馏的过程包括教师模型训练、软标签生成、学生模型设计与训练以及模型部署与优化。其核心思想是通过将大型预训练模型（教师模型）的知识传递给较小的模型（学生模型），从而提升学生模型的性能。
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
Clichong
03-19 6849
如有错误，恳请指出。 这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。 在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记录一下知识蒸馏的测试过程，见另外的一篇博客。 文章目录框架1. 知识蒸馏的算法原理1.1 知识的表示与迁移1.2 训练流程1.3 推理过程1.4 KD与Labe Smoothing的区别2. 知识蒸馏的应用场景3. 知识蒸馏的背后机理4. 知识蒸馏.
「知识蒸馏」最新2022研究综述
zenRRan的博客
03-22 1575
每天给你送来NLP技术干货！来自：专知华南师范大学等《知识蒸馏》最新综述论文高性能的深度学习网络通常是计算型和参数密集型的，难以应用于资源受限的边缘设备. 为了能够在低 资源设备上运行深度学习模型，需要研发高效的小规模网络. 知识蒸馏是获取高效小规模网络的一种新兴方法， 其主要思想是将学习能力强的复杂教师模型中的“知识”迁移到简单的学生模型中. 同时，它通过神经网络的互 ...
AI大语言模型的基础知识与前沿发展
热门推荐
weixin_43178406的博客
05-08 7万+
本文主要介绍了AI大语言模型的基础知识与前沿发展，希望能对学习大模型和人工智能的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
深度学习 模型压缩之知识蒸馏
Fantastic
10-19 2468
知识蒸馏知识蒸馏模型训练相关论文参考 知识蒸馏 模型训练 相关论文 参考 知识蒸馏：如何用一个神经网络训练另一个神经网络 深度学习三大谜团：集成、知识蒸馏和自蒸馏 知识蒸馏(Knowledge Distillation) 经典之作 知识蒸馏（Knowledge Distilling），让你的模型轻装上阵 Distilling Knowledge in Neural Networks ...
计算机行业2023年6月投资策略：AI大模型发展新趋势，关注AI应用+监管.pdf
04-22
2. **边缘计算的应用扩展**：谷歌推出了一款名为Gecko的轻量化模型，可以部署在移动设备上并支持离线运行。此外，OpenAI也发布了ChatGPT的iOS版本App，进一步推动了AI技术向边缘侧的应用。这表明AI技术正在从云端向...
预训练的应用挑战与实践探索.pdf
03-19
例如，通过将大模型（教师模型）的知识蒸馏到小模型（学生模型），可以保持性能的同时减少模型大小。另一方面，可以采用多模型集成的方法，利用不同教师模型的预测结果进行融合，以增强模型的泛化能力。此外，还有...
分布式机器学习在边缘计算中的应用.pptx
05-20
- **轻量化部署：** 利用迁移学习和知识蒸馏技术在边缘设备上部署轻量级模型。 #### 四、异构边缘设备上的分布式学习算法 **个性化与故障恢复：** 1. **边缘设备模型个性化：** - **自适应调整：** 允许边缘...
中文版多角度对大语言模型综述.zip
08-29
6. **效率与可扩展性**：探讨如何优化模型架构以减少计算需求，如模型蒸馏、知识蒸馏，以及分布式训练和推理技术。 7. **伦理和社会影响**：随着大语言模型的广泛应用，文件可能还会涉及它们带来的伦理问题，如隐私...
AI大语言模型，设计分享
10-26
本主题将深入探讨AI大语言模型的设计原理、应用领域以及未来发展趋势。 首先，我们要理解什么是大语言模型。大语言模型，顾名思义，是训练在大规模文本数据上的机器学习模型，它们的目标是理解和生成人类语言。这些...
C/C++开发，opencv内置背景减除算法与运动检测
最新发布
技术需要分享
08-14 512
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Spark MLlib 特征工程(上)
08-14 1254
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
根据哈希值或者特征值判断图片是否相同
Y_warmth
08-09 783
detectAndCompute 方法结合了特征检测和描述符计算两个步骤，可以在图像中检测出特征点并计算这些特征点的描述符。ORB（Oriented FAST and Rotated BRIEF）是一种结合了 FAST 特征检测器和 BRIEF 描述符的特征提取算法，具有旋转不变性和尺度不变性，适用于图像特征匹配、目标检测等任务。接着使用 ORB 对象的 detectAndCompute() 方法检测图像中的特征点并计算描述符，最后将特征点绘制在图像上并显示出来。
ubuntu22.04 安装 ros1
qq_35547879的博客
08-14 165
原先只知道ros1 noetic 只支持到ubuntu20.04。现在系统必须升级到ubuntu22.04。
序列知识蒸馏：压缩与扩展的新进展
为了适应这种趋势，研究者们正在探索各种NLP压缩方法，如权重修剪、量化、早期退出、层丢弃、适配器以及知识蒸馏等。知识蒸馏尤其吸引人，因为它能训练小型学生模型来模仿大型教师模型，而且对学生模型的最终结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值