利用 DeepSeek-R1 蒸馏模型结合 LoRA 和COT数据集进行高效微调

最新推荐文章于 2025-04-28 17:11:56 发布
最新推荐文章于 2025-04-28 17:11:56 发布
阅读量1.1k 收藏 17
点赞数 31
分类专栏： 大模型（LLM） 文章标签： 人工智能 Deepseek-r1 deepseek LoRA COT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/llm_way/article/details/145721781
版权

DeepSeek-R1 （深度解析 DeepSeek R1：强化学习与知识蒸馏的协同力量）作为一款由幻方量化旗下 ai 公司深度求索（deepseek）研发的推理模型，自 2025 年 1 月 20 日正式发布并开源模型权重以来，备受关注。它采用强化学习进行后训练，在数学、代码和自然语言推理等复杂任务上表现卓越 ，可与 OpenAI O1 媲美。随着对模型应用需求的不断细化，如何利用其蒸馏模型进行高效微调，并结合低秩适应（LoRA）和思维链（Chain-of-Thought）数据集，成为提升模型在特定任务中性能的重要研究方向。

DeepSeek-R1 模型概述

DeepSeek-R1 的出现，为大语言模型领域带来了新的活力。其采用的大规模强化学习技术，是一大技术亮点。仅需少量标注数据，就能显著提升模型性能。通过构建智能训练场，动态生成题目和实时验证解题过程，模型的推理能力得到了有效锻炼。在世界大模型排名 arena 上，DeepSeek-R1 (Paper Review: DeepSeek-R1——强化学习驱动的大语言模型推理能力提升)基准测试升至全类别大模型第三，在风格控制类模型分类中与 OpenAI O1 并列第一，竞技场得分达到 1357 分，略超 OpenAI O1 的 1352 分 。这一成绩充分证明了其在复杂任务处理上的强大实力。

同时，DeepSeek-R1 完全开源，采用 MIT 许可协议，这为广大开发者和研究人员提供了自由使用、修改、分发和商业化该模型的机

最低0.47元/天 解锁文章
如何使用 LoRA 对 DeepSeek R1 进行微调
iCloudEnd的博客
02-01 2145
LLM 的全面微调可能非常耗费资源。PEFT 技术（例如 LoRA）通过仅调整一小部分参数提供了一种优雅的解决方案。LoRA 的工作原理是冻结模型的权重并将可训练的低秩矩阵注入关键层。考虑 Transformer 层中的权重矩阵 (W)。我们不会直接更新 (W)，而是将其更新为：这里，（A）和（B）是低秩矩阵，是被注入的可训练权重。在实践中，你可以定义一个秩r，使得（A）具有形状(N, r)，（B）具有形状(r, M)，乘法结果为具有相同形状的矩阵a（W）(N, M)。
开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
02-02 1万+
DeepSeek-R1-Distill-Qwen-7B模型通过蒸馏技术成功提炼Qwen-7B核心知识，旨在满足小型模型需求，并在全面测试中优化性能和拓展应用边界。
【transformer理论+实战（二）】Lora本地微调实战 --deepseek-r1蒸馏模型
造梦先森Kai的专栏
03-15 500
Huggingface是一个开放的人工智能模型库，提供了大量经过预训练的模型供用户下载和使用。
DeepSeek R1模型Lora微调训练
Arkham的专栏
03-28 1596
DeepSeek模型微调训练
从零开始的DeepSeek微调训练实战（SFT）
最新发布
HUANGXIN9898的博客
04-28 874
前言本文重点介绍使用微调框架unsloth，围绕DeepSeek R1 Distill 7B模型进行高效微调，并介绍用于推理大模型高效微调的COT数据集的创建和使用方法，并在一个medical-o1-reasoning-SFT数据集上完成高效微调实战，并最终达到问答风格优化&知识灌注目的。你能收获什么：亲手完成DeepSeek R1蒸馏模型的微调实战对模型微调、推理数据集等知识有一定了解对大模型运行的机制和原理有一定的了解有机会制作一个属于自己的定制化大模型。
DeepSeek R1微调训练
魔希达的博客
02-17 3911
用自定义数据集对deepseek r1模型进行微调训练，以及模型部署。
LoRA微调deepseek R1（7B）
蓝羽飞鸟的博客
02-24 2765
数据集准备，模型加载，LoRA适配，微调训练，推理全流程
DeepSeek-R1大模型微调技术深度解析：架构、方法与应用全解析
maxcode
03-15 388
DeepSeek-R1通过创新架构设计（MoE、动态专家系统）与高效微调技术（LoRA、GRPO），在推理性能、成本效益及多领域应用中展现出显著优势。其开源工具链与行业案例为开发者提供了从理论到实践的完整支持，推动大模型技术的落地与规模化应用。
大模型系列——蒸馏DeepSeek-R1到自己的模型
2401_84052244的博客
03-20 3749
蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显着降低计算成本和内存占用。这个想法最早是在 Geoffrey Hinton 关于知识蒸馏的开创性论文中提出的。它不是直接在原始数据上训练学生模型，而是从老师模型的输出或中间表示中学习。这实际上是受到人类教育的启发。成本效率：较小的模型需要更少的计算资源。速度：非常适合延迟敏感的应用程序（例如 API、边缘设备）。
DeepSeek掘金——蒸馏DeepSeek-R1到自己的模型
02-24 3993
蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显着降低计算成本和内存占用。这个想法最早是在 Geoffrey Hinton 关于知识蒸馏的开创性论文中提出的。它不是直接在原始数据上训练学生模型，而是从老师模型的输出或中间表示中学习。这实际上是受到人类教育的启发。成本效率：较小的模型需要更少的计算资源。速度：非常适合延迟敏感的应用程序（例如 API、边缘设备）。
DeepSeek-R1-7B-Distill模型微调全过程记录，LLaMA_Factory训练自己的数据集，合并lora微调模型并量化为gguf，接入微信实现自动对话回复
qq_53091149的博客
02-21 3199
DeepSeek-R1-7B-Distill模型微调全过程记录，LLaMA_Factory训练自己的数据集，合并lora微调模型并量化为gguf，接入微信实现自动对话回复
手把手教学，DeepSeek-R1微调全流程拆解
2401_85375151的博客
02-20 3836
DeepSeek-R1 是由深度求索（DeepSeek）公司开发的突破性推理模型。DeepSeek-R1 基于 DeepSeek-V3-Base（总共 671B 个参数，每次推理 37B 处于活动状态）构建，使用强化学习 （RL） 在提供最终答案之前生成思路链 （CoT）。为了使这些功能更易于访问，DeepSeek 将其 R1 输出提炼成几个较小的模型：基于 Qwen 的蒸馏模型：1.5B、7B、14B 和 32B基于 Llama 的蒸馏模型：8B 和 70B。
【DeepSeek-R1背后的技术】系列五：DeepSeek-R1微调指南
https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向
02-08 2873
微调像 DeepSeek-R1 这样的大型 AI 模型可能需要大量资源，但如果我们能使用正确的工具，依然可以在消费级硬件上进行有效的训练。下面我们来探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更低成本的训练。 在这篇博文中，我们将在消费级 GPU 上使用 LoRA（低秩自适应）和 Unsloth 对 DeepSeek-R1 进行微调。
在消费级硬件上微调 DeepSeek-R1
2401_84204207的博客
02-13 1518
本篇是 DeepSeek 相关系列的第一篇，对 DeepSeek-R1 等大型 AI 模型进行微调可能需要大量资源，但使用正确的工具，可以在消费级硬件上进行高效训练。让我们探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更具成本效益的训练。🚀🔧💡DeepSeek 最新推出的 R1 模型在推理性能方面树立了新的行业标杆，其表现可与许多专有模型相媲美，但与此同时，它依然保持了开源的特性，使得更多的开发者和研究者能够访问并基于这一平台进行创新。
【DeepSeek+LoRA+FastAPI】开发人员如何微调Deepseek-R1大模型并暴露接口给后端调用
qq_59534628的博客
03-17 1627
想象一下，你让一个博士但没上过临床的文科生给病人开药，结果他开出了十年前就禁用的药品——这就是通用AI在专业领域闹的"一本正经胡说八道"现象。虽然像GPT、DeepSeek这些"全能型选手"能写诗编程聊八卦，但当它们遇到医疗诊断、法律文书这些需要精准专业知识的场景时，常常会犯低级错误。其实要让AI真正成为行业专家，就像培养医学生一样：先找个聪明的"学霸"（基础大模型），再给他喂专业的"教科书"（行业数据库），最后在"三甲医院"实战训练（微调优化）。
微调和蒸馏大模型的详细技术比较：创建自我优化、极具适应性的AI系统
bugyinyin的博客
02-28 1187
LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战。微调和蒸馏这两种主要技术已经成为关键的优化策略。
如何通过“链式推理”（CoT）增强模型蒸馏的效果
Code1994的博客
12-11 1086
文章研究了通过“链式推理”增强模型蒸馏，发现将推理链附加在目标标签后能显著提升小型模型性能，即使推理链不连贯或仅使用少量关键词汇。论文题目： Investigating Mysteries of CoT-Augmented Distillation论文链接： https://arxiv.org/abs/2406.14511AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
如何蒸馏 Deepseek-R1：综合指南
m0_59164520的博客
02-19 2247
蒸馏是一种机器学习技术，其中较小的模型（“学生”）被训练来模仿较大、预训练模型（“教师”）的行为。其目标是在显著降低计算成本和内存占用的同时，保留教师模型的大部分性能。这一概念最早在Geoffrey Hinton关于知识蒸馏的开创性论文[1]中提出。与其直接在原始数据上训练学生模型，不如让学生模型学习教师模型的输出或中间表示。这实际上是受人类教育的启发。
DeepSeek本地化部署全攻略，轻松拥有专属 AI 助手
zhishi0000的博客
02-06 8694
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。2.页面下拉，根据自己电脑的配置选择合适的参数规模（7b 代表 70 亿参数，14b 代表 140 亿参数，参数越多，模型越大，效果理论上也会更好，但对电脑配置要求也更高），然后复制对应的下载命令。观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
使用unsloth微调deepseek-r1-8B模型，给出完整代码
02-23
<think>好的，用户想要使用unsloth来微调deepseek-r1-8B模型，并希望得到完整的代码。首先，我需要确认unsloth是否支持这个模型。unsloth主要用于优化微调过程，比如减少内存占用和加快训练速度，通常与Hugging Face的transformers库结合使用。deepseek-r1-8B可能是一个基于类似LLaMA架构的模型，所以可能需要检查是否支持。 接下来，用户可能需要代码示例，包括数据准备、模型加载、训练配置、训练过程和保存模型。需要确保步骤完整，例如安装必要的库，加载数据集，使用正确的模型名称，设置训练参数如batch size、learning rate等，以及处理可能的内存问题，比如使用4位量化。 另外，用户可能对数据格式有疑问，所以需要提供一个示例数据集的结构，比如alpaca格式。还要注意可能出现的错误，比如OOM（内存不足），这时候可能需要调整batch size或者使用梯度累积。 需要提醒用户替换数据集路径，并根据硬件调整参数，比如device_map和dtype设置。最后，保存模型并演示如何加载使用，确保代码的可运行性。 可能还需要验证代码的准确性，比如检查unsloth的最新文档，确认支持的模型类型，以及是否有额外的参数需要注意。同时，确保训练器的设置正确，比如使用Seq2SeqTrainer，因为可能是生成任务。 总结：步骤包括安装库、准备数据、加载模型和分词器、配置训练参数、训练、保存模型。需要注意模型兼容性、硬件限制和参数调整，确保用户能顺利运行代码。</think>以下是一个使用Unsloth微调DeepSeek-R1-8B模型的完整代码示例。请注意根据您的硬件调整参数（如batch_size、gradient_accumulation_steps等）： ```python # 首先安装必要库（建议使用Python 3.10+） # pip install "unsloth[colab] @ git+https://github.com/unslothai/unsloth.git" # pip install --no-deps "xformers<0.26.0" trl peft accelerate datasets bitsandbytes import torch from unsloth import FastLanguageModel from datasets import load_dataset from trl import SFTTrainer from transformers import TrainingArguments # 参数配置 max_seq_length = 2048 # 根据GPU内存调整 dtype = None # None自动检测，或指定为torch.float16/torch.bfloat16 load_in_4bit = True # 使用4位量化节省内存 # 加载DeepSeek-R1-8B模型 model, tokenizer = FastLanguageModel.from_pretrained( model_name = "deepseek-ai/deepseek-llm-7b-r1", # 确认HuggingFace模型名称 max_seq_length = max_seq_length, dtype = dtype, load_in_4bit = load_in_4bit, ) # 添加LoRA适配器（可选） model = FastLanguageModel.get_peft_model( model, r=16, # LoRA秩 target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj"], # 常见目标模块 lora_alpha=16, lora_dropout=0, bias="none", use_gradient_checkpointing=True, ) # 准备数据集（示例使用Alpaca格式） dataset = load_dataset("yahma/alpaca-cleaned", split="train") dataset = dataset.map(lambda sample: { "text": f"""Below is an instruction that describes a task. Write a response that appropriately completes the request. ### Instruction: {sample['instruction']} ### Input: {sample['input']} ### Response: {sample['output']}""" }) # 训练参数配置 trainer = SFTTrainer( model = model, tokenizer = tokenizer, train_dataset = dataset, dataset_text_field = "text", max_seq_length = max_seq_length, dataset_num_proc = 2, packing = True, # 序列打包提高效率 args = TrainingArguments( per_device_train_batch_size = 2, gradient_accumulation_steps = 4, warmup_steps = 5, num_train_epochs = 3, learning_rate = 2e-5, fp16 = not torch.cuda.is_bf16_supported(), bf16 = torch.cuda.is_bf16_supported(), logging_steps = 1, optim = "adamw_8bit", weight_decay = 0.01, lr_scheduler_type = "linear", seed = 3407, output_dir = "outputs", save_strategy="steps", save_steps=500, ), ) # 执行训练 trainer.train() # 保存微调后的模型 model.save_pretrained("lora_adapter") # 保存LoRA适配器 # model.push_to_hub("your_username/model_name") # 可选：上传到HuggingFace Hub # 使用微调后的模型生成文本 inputs = tokenizer( ["### Instruction:\nExplain deep learning in 3 sentences\n\n### Response:"], return_tensors="pt" ).to("cuda") outputs = model.generate(**inputs, max_new_tokens=128) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 注意事项： 1. 硬件要求：至少需要24GB显存（建议A100/A6000等） 2. 数据集：示例使用Alpaca格式，请替换为您的实际数据集 3. 模型名称：请确认HuggingFace上的准确模型名称 4. 内存优化：如遇OOM错误，可以尝试： - 降低`per_device_train_batch_size` - 增加`gradient_accumulation_steps` - 使用`load_in_4bit=True` - 减小`max_seq_length` 建议在微调前： 1. 检查CUDA可用性：`print(torch.cuda.is_available())` 2. 验证模型加载：`print(model)` 3. 测试基本推理：先运行生成代码确保基础模型正常工作 如需完整生产级实现，建议参考： - Unsloth官方文档：https://github.com/unslothai/unsloth - DeepSeek官方微调指南：https://huggingface.co/deepseek-ai
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值