大语言模型LLM资源优化与部署：知识蒸馏与模型精简（LLM系列17）

最新推荐文章于 2025-02-17 16:43:50 发布
最新推荐文章于 2025-02-17 16:43:50 发布
阅读量1.3k 收藏 22
点赞数 19
分类专栏： 大语言模型LLM 文章标签： 语言模型 人工智能 自然语言处理 深度学习 python 神经网络 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39813001/article/details/136333501
版权
本文探讨了知识蒸馏技术在大语言模型LLM资源优化与部署中的应用，通过ChatGLM3-6B向DistilBERT的知识迁移，实现模型压缩和性能优化。介绍了知识蒸馏的基本原理，实践中的策略，以及蒸馏后小型模型的性能评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

大语言模型LLM资源优化与部署：知识蒸馏与模型精简（LLM系列17）

以ChatGLM3-6B向小型模型的知识迁移为例，基于DistilBERT的实践探索

引言

知识蒸馏技术是一种从大型复杂模型中提炼关键知识，并将其灌输给小型模型的方法，以此实现模型压缩与性能优化。在自然语言处理领域，大型语言模型如ChatGLM3-6B以其卓越的性能表现和广泛的应用前景备受关注。然而，此类模型庞大的参数量和高昂的计算需求，使得它们在资源受限的场景下难以部署和使用。与此同时，小型模型因其轻便易用的特性，在实际应用中有强烈的需求，但其性能往往受限于模型容量。知识蒸馏作为连接大型模型与小型模型的桥梁，通过模拟大型模型的行为和决策过程，使小型模型能够继承其知识和能力，从而在性能与资源占用之间取得平衡。

知识蒸馏基本原理

知识蒸馏源于Hinton等人提出的“教师-学生”学习框架，其基本理念是让小型模型（学生模型）模仿大型模型（教师模型）的输出概率分布，从而捕获教师模型的内在知识。在这个过程中，大型模型产生的“软标签”（softmax概率分布）被用作学生模型的学习目标，而非传统的硬标签（one-hot编

了解本专栏 订阅专栏 解锁全文 超级会员免费看
面向工业场景的Transformer模型部署实践与挑战
AI天才研究院
04-02 1092
近年来，Transformer模型凭借其强大的特征提取能力和并行计算优势，在自然语言处理（NLP）领域取得了突破性进展，并迅速扩展到计算机视觉（CV）、语音识别等多个领域。Transformer模型通常包含数亿甚至数十亿参数，需要大量的计算资源和存储空间，难以部署在资源受限的工业设备上。Transformer模型的复杂结构和庞大的计算量导致其推理速度较慢，难以满足工业场景对实时性的要求。工业场景的数据往往具有高度专业化和碎片化的特点，与公开数据集存在较大差异，导致模型泛化能力不足。
什么是知识蒸馏？
百态老人的博客
07-24 3591
研究目录一、知识蒸馏的基本原理二、知识蒸馏在苹果公司LLMs中的应用三、什么是知识蒸馏？四、知识蒸馏的基本原理是什么？五、知识蒸馏如何提高模型性能？六、知识蒸馏与模型压缩的关系是什么？七、知识蒸馏如何减少计算复杂度？八、知识蒸馏如何降低资源需求？九、知识蒸馏如何提高模型的泛化能力？十、知识蒸馏中的教师模型和学生模型是什么？十一、教师模型如何训练？十二、学生模型如何模仿教师模型？十三、知识蒸馏中的数据增强技术有哪些？十四、如何设计知识蒸馏的损失函数？十五、如何优化模型架构以提高知识蒸馏效果？十六、知识蒸馏在自
大模型（LLM）中的模型压缩与知识转移技术——知识蒸馏（工作机制、关键要素、应用领域、优势....）
m0_56255097的博客
10-10 1646
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
大模型（LLM）蒸馏技术解析：应用、实现等等
最新发布
2401_85773741的博客
02-17 764
基于蒸馏 LLM 的摘要工具可以将新闻文章、文档或社交媒体信息浓缩成简洁的摘要，帮助用户快速抓住要点，而无需阅读冗长的文本。
LLM知识蒸馏代码讲解及训练实验
weixin_43013480的博客
10-14 1895
知识蒸馏简单讲即使用大规模参数的模型对小规模参数模型进行蒸馏，且不是简单的只使用答案，是需要两个模型的log prob进行交互的，故两个模型的vocab size必须是一样的。参考论文中分类了多个不同的版本，on-policy及off-policy。
如何使用LLM进行知识蒸馏：从GPT-4到GPT-3.5的模型微调
ppoojjj的博客
07-24 782
在这篇文章中，我们将探讨如何使用大语言模型（LLM）进行知识蒸馏。具体来说，我们将展示如何使用库从GPT-4 Judge模型中蒸馏知识到GPT-3.5 Judge模型。
大语言模型(LLM)基础知识概述
GUEST_MTE的博客
08-12 1081
1.大规模预训练: 准备大规模的文本数据，并且进行严格的清洗，去除掉可能包含有毒有害的内容，最后将清洗后的数据进行词元化流，并且切分成批次（Batch），用于大语言模型的预训练2.指令微调与人类对齐指令微调,基础的预训练模型一开始并不一定能像现在一样可以人机问答处理/任务求解非常流畅，需要使用任务输入与输出的等配对数据进行模型训练（需要指令微调），使得模型有着更好的通用任务解决能力，通过指令微调，可以让模型朝需要的方向去发展，并且指令微调所需要的算力相比于预训练低很多。人类对齐。
大语言模型（LLM）入门级选手初学教程 四
vivid
11-18 1214
核心思想在于将复杂任务分解为若干相关联的子任务，并围绕这些子任务制定包含一系列执行动作（Action）的解决方案，从而将复杂任务的求解转换为一系列更为简单的子任务依次求解，进而简化了任务难度。𝑤𝑛 是𝑛 元组的权重，用于调整不同长度的𝑛 元组对最终评分的影响，者通常设𝑛 = 4，并平均分配𝑤𝑛，BP 表示长度惩罚因子，用于修正由于候选文本长度过短导致的评分偏差。成功率：通过衡量模型成功完成任务的次数与任务总数之间的比例，成功率能够直观展现模型在实际任务执行能力上的表现。
大模型GUI系列论文阅读 DAY1：《基于大型语言模型的图形用户界面智能体：综述》（6.6W 字长文）
feifeikon的博客
01-19 1704
大型语言模型（LargeLanguageModels,LLMs）的兴起[8][9]，特别是那些增强了多模态能力的模型[10]，为GUI自动化带来了颠覆性变化，重新定义了智能体与图形用户界面交互的方式。我们将回顾GUI智能体的发展历史，提供构建这些智能体的分步指南，汇总基本和高级技术，评审与框架、数据和模型相关的重要工具和研究，展示典型应用，并概述未来发展方向。通过这些问题，本综述旨在提供对该领域现状的全面概览，为构建LLM驱动的GUI智能体提供指导，识别关键研究空白，并提出未来工作的方向。
【LLM基础知识点整理】大模型的量化和蒸馏
zxlp520的博客
08-04 1675
大模型量化是指将深度学习模型中使用的浮点数表示转换为低精度整数表示的过程。这通常涉及选择合适的量化比特数和方法，以减少内存占用和推理时间，同时尽量不损失太多准确性。
LLM | 知识蒸馏 —— 解锁大模型与小模型平衡的关键
m0_59235699的博客
02-12 808
知识蒸馏是一种机器学习技术，核心是将一个大规模、预训练的教师模型（Teacher Model）所蕴含的知识传递给一个规模较小的学生模型（Student Model）。其目标是打造一个在性能上与大型模型相近，但计算资源消耗大幅降低的紧凑模型。知识蒸馏不仅是复制教师模型的输出结果，更重要的是模仿其“思维过程”，本质是知识迁移，即模仿教师模型的输出分布，使学生模型继承其泛化能力与推理逻辑。传统的深度学习方法在训练和部署阶段使用相同的模型。然而，训练阶段和部署阶段的需求往往是不同的。
【LLM+知识蒸馏】Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and
Arachis_X的博客
03-15 2449
部署大型语言模型（LLM）具有挑战性，因为它们在实际应用中内存效率低、计算密集。为此，研究人员通过使用人类标签进行微调或使用 LLM 生成的标签进行蒸馏，来训练针对特定任务的较小模型。然而，微调和蒸馏需要大量的训练数据，才能达到与 LLM 相当的性能。我们逐步引入蒸馏法，这是一种新的机制，（a）训练的模型更小，性能优于 LLM，（b）通过利用微调或蒸馏法所需的更少的训练数据来实现这一目标。我们的方法在多任务框架内提取 LLM 理由作为训练小型模型的额外监督。
大模型知识蒸馏概述
huang9604的博客
05-22 4818
近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
智谱AI提出预训练蒸馏4大准则 | GLM-4-9B作为教师LLM究竟能够教出怎样的LLM模型
m0_59164520的博客
10-29 1266
知识蒸馏旨在将大型教师模型的知识浓缩为较小且高效的学生模型，用于模型压缩。该技术已在计算机视觉等领域得到广泛应用。近年来，在大语言模型（LLMs）的训练阶段后进行知识蒸馏，已成为增强高级LLMs（如GPT-4）知识的标准做法。这种技术通常在LLMs的后训练阶段使用，学生模型直接使用教师LLMs生成的一组 Query 和响应进行语言建模（LM）损失学习。后训练KD简单且广泛适用，导致各种先进LLM的开发，这极大地推动了LLM的发展。后训练蒸馏的成功引发了在预训练阶段是否可以蒸馏知识蒸馏LLM的问题。
LLMs 蒸馏, 量化精度, 剪枝 模型优化以用于部署 Model optimizations for deployment
AI架构师易筋
10-08 728
现在，您已经了解了如何调整和对齐大型语言模型以适应您的任务，让我们讨论一下将模型集成到应用程序中需要考虑的事项。在这个阶段有许多重要的问题需要问。第一组问题与您的LLM在部署中的功能有关。您需要模型生成完成的速度有多快？您有多少计算预算可用？您是否愿意为改善推理速度或降低存储空间而牺牲模型性能？第二组问题与您的模型可能需要的额外资源有关。您是否打算让您的模型与外部数据或其他应用程序进行交互？如果是的话，您将如何连接到这些资源？最后，还有一个问题，即您的模型将如何被使用。
LLM学习：大模型微调＆蒸馏＆裁剪
python12222_的博客
09-25 897
通过在多种设置下训练不同的LLMs，展示了合成的Case2Code数据不仅可以提高LLMs在归纳推理任务上的性能，还可以提升它们在一般编程任务上的能力。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即使在重新训练模型后，也难以弥补这些任务的性能损失，这表明虽然这些层中存储的大部分信息是多余的，但其中的某些部分可能是关键任务所必需的。
如何把大模型和小模型相结合？这几种策略可以实现！（附相关论文）
2401_82426425的博客
01-17 6423
简述：本文提出通过将模型集合中的知识提炼到单个模型中，可以显著改进大量使用的商业系统的声学模型，并引入了一种由一个或多个完整模型和许多专业模型组成的新型集成，这些模型学习区分完整模型混淆的细粒度类别。这就是大模型小模型相结合的几种策略，结合大模型和小模型的目的是要在资源消耗和模型性能之间寻找一个平衡点，大模型提供了丰富的信息和先进的特征表示，而小模型则使得模型部署在资源有限的环境中成为可能。使用教师模型的输出来训练学生模型，不是简单地使用标签信息，而是使学生模型的输出尽可能接近教师模型的输出。
通用图基座模型OpenGraph，从LLM中蒸馏零样本图泛化能力
数据派THU
03-30 237
来源：深度图学习与大模型LLM 本文约5000字，建议阅读10分钟 本文提出了 OpenGraph，一个图基座模型，旨在实现在不同图数据集上的零样本预测。论文链接: https://arxiv.org/pdf/2403.01121.pdf代码链接: https://github.com/HKUDS/OpenGraph实验室主页: https://sites.google.com/view/chao...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

North_D

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值