大模型系列——蒸馏DeepSeek-R1到自己的模型

于 2025-03-20 09:06:23 发布
阅读量3.6k 收藏
点赞数 16
分类专栏： 大模型 文章标签： 大模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84052244/article/details/146387387
版权

大模型系列——蒸馏DeepSeek-R1到自己的模型

在本博客中，我们将介绍如何使用LoRA等技术将 DeepSeek-R1 的推理能力蒸馏到较小的模型（如 Microsoft 的 Phi-3-Mini）中。

蒸馏DeepSeek-R1到自己的模型

深度学习模型彻底改变了人工智能领域，但其庞大的规模和计算需求可能会成为实际应用的瓶颈。模型蒸馏是一种强大的技术，它通过将知识从大型复杂模型（教师）转移到较小、更高效的模型（学生）来解决这一挑战。

在本博客中，我们将介绍如何使用 LoRA（低秩自适应）等专门技术将 DeepSeek-R1 的推理能力蒸馏到较小的模型（如 Microsoft 的 Phi-3-Mini）中。

1、什么是蒸馏？

蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显着降低计算成本和内存占用。

这个想法最早是在 Geoffrey Hinton 关于知识蒸馏的开创性论文中提出的。它不是直接在原始数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
DeepSeek掘金——蒸馏DeepSeek-R1到自己的模型
02-24 3960
蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显着降低计算成本和内存占用。这个想法最早是在 Geoffrey Hinton 关于知识蒸馏的开创性论文中提出的。它不是直接在原始数据上训练学生模型，而是从老师模型的输出或中间表示中学习。这实际上是受到人类教育的启发。成本效率：较小的模型需要更少的计算资源。速度：非常适合延迟敏感的应用程序（例如 API、边缘设备）。
超火的DeepSeek使用了大模型蒸馏技术嘛?
kcarly的专栏
02-01 4356
DeepSeek通过蒸馏技术开发了多个高效的小型AI模型，包括基于R1蒸馏的Qwen系列、渐进式分层蒸馏技术以及Qwen和Llama系列的多参数模型。这些模型在推理能力、效率和实际应用中均取得了显著成果。例如，DeepSeek-R1蒸馏模型在AIME竞赛中超越了GPT-4o，在多个基准测试中大幅超越了o mini；渐进式分层蒸馏技术实现了从175亿参数到13亿参数的高效知识迁移；而其他蒸馏模型则在图像分类和自然语言处理任务中展现了卓越性能。蒸馏技术通过将大模型的知识传递给小模型，实现了模型压缩和性能提升。
蒸馏DeepSeek-R1到自己的模型
m0_59235945的博客
02-11 1634
蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显着降低计算成本和内存占用。这个想法最早是在 Geoffrey Hinton 关于知识蒸馏的开创性论文中提出的。它不是直接在原始数据上训练学生模型，而是从老师模型的输出或中间表示中学习。这实际上是受到人类教育的启发。为什么它很重要：成本效率：较小的模型需要更少的计算资源。速度：非常适合延迟敏感的应用程序（例如 API、边缘设备）。
4000字！深度解析 DeepSeek 的蒸馏技术，收藏这一篇就够了！！
Gaga246的博客
02-04 6499
模型蒸馏（Knowledge Distillation）是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的技术。其核心目标是在保持模型性能的同时，显著降低模型的计算复杂度和存储需求，使其更适合在资源受限的环境中部署。在机器学习中，模型蒸馏是一种优化技术，通过模仿教师模型的输出，训练一个较小的学生模型，从而实现知识的传递。教师模型通常具有较高的性能，但计算成本高昂，而学生模型则更加轻量级，推理速度更快，且内存占用更少。
DeepSeek模型蒸馏技术详解：从理论到工业级落地实践
燃灯工作室
02-25 952
典型应用链路：医疗影像领域，原始ResNet-152（Top-1 82%) → 蒸馏MobileNetV3（Top-1 78%) → TensorRT量化后推理速度提升5倍。当T→∞时分布趋近均匀，T→0时逼近one-hot。实际案例：在商品评论分类任务中，T=2.5时相比T=1.0提升微调效果0.4%实际参数设置：batch_size=32, lr=3e-5, epochs=10。：先学习简单样本再逐步增加难度，在政务文档处理任务中训练时间缩短30%：强制学生网络第n层学习教师2n层的注意力模式。
DeepSeek逆天，核心是 知识蒸馏（Knowledge Distillation, KD），一项 AI 领域的关键技术
架构师尼恩
02-04 2232
知识蒸馏是一种机器学习技术，目的是将预先训练好的大型模型（即 “教师模型”）的学习成果转移到较小的 "学生模型 "中。在深度学习中，它被用作模型压缩和知识转移的一种形式，尤其适用于大规模深度神经网络。知识蒸馏的本质是知识迁移，模仿教师模型的输出分布，使学生模型继承其泛化能力与推理逻辑。教师模型（Teacher Model）：通常为参数量大、训练充分的复杂模型（如DeepSeek-R1），其输出不仅包含预测结果，还隐含类别间的相似性信息。学生模型。
大模型系列——用Deepseek-R1蒸馏自己的模型
最新发布
2401_84052244的博客
03-18 4546
为了举例说明，我希望模型能够遍历我的数据集，理解每个意见的情感，并从-5到5对每个意见进行排名，并将其添加到新的列中。总之，上述指南为你提供了一个简单的方法来创建最新精馏Deepseek-R1模型的本地私有实例，并展示了如何创建自定义提示以在自己的数据上以可扩展的方式运行。通过使用pandas的apply()函数，我可以使用上述指定的函数针对数据框中的所有行运行模型，并结合辅助系统提示来帮助指导模型产生正确的输出。确保指定正确的模型。只需在>>>后面直接写入你的提示，就可以开始与你的模型的本地版本互动。
大模型——用Deepseek-R1蒸馏自己的模型
03-18 1082
为了举例说明，我希望模型能够遍历我的数据集，理解每个意见的情感，并从-5到5对每个意见进行排名，并将其添加到新的列中。总之，上述指南为你提供了一个简单的方法来创建最新精馏Deepseek-R1模型的本地私有实例，并展示了如何创建自定义提示以在自己的数据上以可扩展的方式运行。通过使用pandas的apply()函数，我可以使用上述指定的函数针对数据框中的所有行运行模型，并结合辅助系统提示来帮助指导模型产生正确的输出。确保指定正确的模型。只需在>>>后面直接写入你的提示，就可以开始与你的模型的本地版本互动。
DeepSeek掘金——用Deepseek-R1蒸馏自己的模型
02-23 3594
为了举例说明，我希望模型能够遍历我的数据集，理解每个意见的情感，并从-5到5对每个意见进行排名，并将其添加到新的列中。总之，上述指南为你提供了一个简单的方法来创建最新精馏Deepseek-R1模型的本地私有实例，并展示了如何创建自定义提示以在自己的数据上以可扩展的方式运行。通过使用pandas的apply()函数，我可以使用上述指定的函数针对数据框中的所有行运行模型，并结合辅助系统提示来帮助指导模型产生正确的输出。确保指定正确的模型。只需在>>>后面直接写入你的提示，就可以开始与你的模型的本地版本互动。
DeepSeek的蒸馏技术说明
程序员陆通
02-16 1157
蒸馏技术是DeepSeek实现高效搜索和模型优化的重要手段。通过将复杂的教师模型知识迁移到轻量级学生模型，DeepSeek能够在保证搜索精度的同时显著提升响应速度和资源利用效率。这种技术的应用不仅提高了用户体验，也为智能搜索工具的发展提供了新的方向。
DeepSeek的蒸馏技术概述
qq_36053756的博客
02-10 494
通过已有的高质量模型合成少量高质量数据作为新模型的训练数据，从而达到接近于在原始数据上训练的效果。这种技术常用于资源受限的场景，通过已有的高质量模型来合成少量高质量数据，作为新模型的训练数据，从而达到接近于在原始数据上训练的效果。南威软件通过模型蒸馏技术，将DeepSeek大模型的知识高效地迁移到轻量化的小模型中，从而在保持高性能的同时，提升了智能化发展的深度融合。综上所述，DeepSeek的蒸馏技术不仅在技术上取得了突破，还在市场上产生了深远的影响，引起了广泛的关注和讨论。蒸馏技术的原理和应用场景。
一文介绍DeepSeek的模型蒸馏和模型量化技术
m0_59235699的博客
02-15 1112
模型蒸馏是一种知识迁移的方法旨在将知识从一个大型的教师模型(Teacher Model)转移到一个较小的学生模型(Student Model)中。其基本思想是利用教师模型的输出、隐藏层特征或特征间相似度等作为额外的监督信号，来训练学生模型，以提升小模型的性能并在一定程度上取代大模型。学生模型可以在保持较高准确性和泛化能力的同时，减少参数数量和计算复杂度。在自然语言处理任务中，对于各种复杂的任务，深度和大型预先训练的语言模型往往表现出色，但由于其巨大的规模可能会阻碍在实际中的应用。
一文搞懂DeepSeek - 强化学习和蒸馏
2401_85373691的博客
02-19 1031
（1）训练后：在基础模型上进行大规模强化学习。通过在基础模型上直接应用大规模强化学习，成功开发出具备自我验证和长思维链等推理能力的DeepSeek-R1。（2）蒸馏：小模型同样强大。同时证明了大模型的推理模式可被有效蒸馏到小模型中，实现性能显著提升。
DeepSeek-R1 蒸馏模型及如何用 Ollama 在本地运行DeepSeek-R1
热门推荐
llm_way的博客
01-26 1万+
在人工智能飞速发展的领域中，大型语言模型（LLMs）的出现可谓是一项重大变革。在这些模型里，DeepSeek - R1 及其蒸馏模型备受瞩目，它们融合了独特的能力与高可用性。今天我们一起聊一下 DeepSeek - R1 蒸馏模型究竟是什么，它们的工作原理、应用场景，并提供一份使用 Ollama 在本地运行 DeepSeek R1 的详细步骤指南。DeepSeek - R1 蒸馏模型（模型蒸馏（Model Distillation）：AI模型小型化与高效化之道）是强大的 DeepSeek - R1 人工智能
Deepseek为什么选择蒸馏模型？一文彻底搞懂大模型蒸馏技术
h1453586413的博客
02-24 1390
我们看到，DeepSeek 提供了 7B、8B、14B、32B 等多个中小参数量模型，类似地，Qwen（1.5B、3B、7B、14B、32B）和 Llama（7B、13B、34B）也发布了多个中小参数量模型。然而，它们的生成方式有所不同：DeepSeek 是先训练一个超大参数模型，然后通过蒸馏的方式提供小参数量模型；而其他模型则是通过优化训练过程和模型架构来实现。那么，这两种方式有什么差异？DeepSeek 为什么选择蒸馏模型？本文将深入探讨以下几个问题：什么是大模型蒸馏？它诞生的背景是什么？
将Deepseek-R1蒸馏到Phi-3-Mini小模型实践教程！
IT大头的博客
02-14 1017
deepseek蒸馏到小模型，deepseek蒸馏实战，微调deepseek
deepseek-r1模型原理
02-01
### DeepSeek-R1 模型工作原理 #### 模型架构与设计目标 DeepSeek-R1 是一种先进的大型语言模型，旨在通过高效的推理能力和较小的体积实现高性能的语言处理任务。为了达到这一目的，开发团队采用了知识蒸馏技术，将更大规模的基础模型的知识迁移到相对较小的目标模型上[^3]。 #### 训练方法概述 在训练阶段，DeepSeek 团队利用由 R1 生成的大约 800,000 条数据记录作为监督信号，对选定的小型预训练模型（如 Qwen 和 Llama 系列）实施微调操作。这种做法不仅提高了小型化后的模型性能，还保持了原有大模型的强大表达力和泛化能力。具体来说，这些经过优化调整的小型模型能够在资源受限环境中提供接近甚至超越原始大规模模型的表现水平。 #### 应用场景支持 得益于其紧凑的设计以及出色的计算效率，DeepSeek-R1 特别适合部署于边缘设备或其他计算资源有限的地方。借助专门为此类环境定制化的工具链——比如 Ollama 平台所提供的便捷接口，“`ollama run deepseek -r1`”，用户可以快速获取并启动该模型用于实际应用当中[^1]。 ```bash ollama run deepseek -r1 ``` 此命令允许使用者轻松地从远程服务器拉取最新版本的 DeepSeek-R1 模型至本地机器，并立即投入使用而无需额外配置步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值