定制化训练DeepSeek模型：LoAR、COT推理与SFT技术应用

最新推荐文章于 2025-06-12 23:06:21 发布
原创 最新推荐文章于 2025-06-12 23:06:21 发布 · 926 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

DeepSeek-R1 模型微调系列一. 前言介绍本文内容：1.1 项目背景1.2 LoRA和 QLoRA 简介1.3 LLaMA 架构和 Qwen 架构LLaMA 架构Qwen 架构二. 环境准备2.1 Unsloth 安装（显卡版本-暂时不用）2.2 创建Python项目2.3 python 依赖库2.2 LoRA peft 安装2.3 WandB 设置2.4 modelscope pull 模型2.5 测试模型使用三. 训练数据数据3.1 准备数据集3.2 数据清洗3.3 训练数据3.3 训练模型并保存3.4 合并模型文件3.4 评估和监控训练过程评估（eval/）相关信息：训练（train/）相关信息：

一. 前言介绍

本文内容：

  1. 模型加载与预处理：详细讲解如何加载预训练模型、分词器，并处理输入数据集。

  2. LoRA配置：介绍如何使用LoRA技术配置模型，并高效进行微调，节省计算资源。

  3. 训练过程：展示了如何配置训练参数，使用SFTTrainer进行训练，并通过WandB记录训练日志。

  4. 模型保存与评估：如何保存微调后的模型，以及如何通过合适的评估集对模型进行验证。

  5. 模型合并：展示了如何通过加权平均的方式合并多个模型权重，得到一个更强大的模型。

1.1 项目背景

本文档描述了如何在MAC笔记本上对 DeepSeek-R1-Distill-Llama-1.5B Qwen架构 进行高效微调，使用** transformers 进行数据处理，并结合 LoRA 技术进行模型微调，使用 WandB 监控训练过程， ModelScope 下载模型。（训练数据量大约2w条左右）

  • 由于为MAC笔记本本地训练 无显卡支持 故而放弃（DeepSeek-R1-Distill-Qwen-7B Q wen）

下载的服务信息如下：

安装服务 版本名称 作用
Unsloth 用于数据处理和模型微调。
Transformers Hugging Face 提供的模型库，用于加载和微调 DeepSeek-R1。
WandB 用于训练过程的实时监控和可视化。
LoRA 用于微调的低秩适应技术。
ModelScope 用于下载 DeepSeek-R1-8b 模型。
python3.11 Python 3.11 用于执行 Python 脚本和训练任务。

1.2 LoRA和 QLoRA 简介

以下是 LoRA 和 QLoRA 的区别表格：

特性 LoRA (Low-Rank Adaptation) QLoRA (Quantized LoRA)
核心原理 通过低秩矩阵分解减少需要调整的参数量 在 LoRA 的基础上结合量化技术，进一步减少存储和计算需求
主要优点 降低训练时需要调整的参数数量，提高微调效率 除了低秩矩阵，还通过量化减少内存占用，适用于资源有限的环境
存储需求 较低，但不如 QLoRA 节省内存 显著减少内存使用，适合在内存受限的设备上使用
计算效率 提高训练效率，减少计算资源消耗 量化后的低精度计算进一步提高了计算效率，降低了开销
适用场景 计算资源有限但不需要极限压缩的场景 内存和计算资源极其有限的环境，特别是在边缘设备上使用
适用硬件 适用于大多数硬件设备，尤其是高性能计算环境 特别适合内存有限的硬件，如边缘设备、低内存服务器等

1.3 LLaMA 架构和 Qwen 架构

特性 LLaMA 架构 Qwen 架构
开发者 Meta（Facebook） 深度求索（DeepSeek）
设计目标 高效、轻量化 中文优化、多语言支持
参数量 7B、13B、33B、65B 等 7B、14B 等
开源情况 开源 部分开源或未完全公开
适用场景 资源有限的环境 中文任务、多语言任务

LLaMA 架构

  • 全称：Large Language Model Meta AI（LLaMA）

  • 开发者：由 Meta（原 Facebook）开发。

  • 特点：

    • 高效性：LLaMA 旨在以较少的参数量实现高性能，专注于优化计算效率。

    • 轻量化：模型参数量相对较小（如 7B、13B、33B、65B），但通过高质量数据和训练方法，性能接近甚至超越更大的模型。

    • 开源：Meta 发布了 LLaMA 的权重和代码，供研究社区使用。

  • 应用场景：

    • 适合资源有限的环境，如本地部署或移动设备。

    • 适用于各种 NLP 任务，尤其是在生成、问答、文本分类等任务中，具有较好的性能和效率。

Qwen 架构

  • 开发者：由中国的深度求索（DeepSeek）团队开发。

  • 特点：

    • 定制化设计：Qwen 可能是针对中文或特定任务优化的架构，具体细节未完全公开。

    • 多语言支持：Qwen 系列模型通常对中文有较好的支持，同时在英文和多语言任务上也有不错的表现。

    • 参数量灵活：Qwen 系列包括不同规模的模型（如 7B、14B 等），适合不同场景。

  • 应用场景：

    • Qwen 适用于文本生成、自动化内容创作、对话系统、语音合成等任务。

二. 环境准备

2.1 Unsloth 安装（显卡版本-暂时不用）

  • Unsloth 是一个用于数据处理和模型微调的工具。您可以通过以下命令安装：

  • MAC不试用，需要显卡

​
##官网：https://github.com/unslothai/unsloth
​
#01 创建项目，并设置python虚拟环境，python3.11版本
​
#02 安装 unsloth（cpu版本）
brew install llvm（Homebrew clang version 19.1.7）
echo 'export PATH="/opt/homebrew/opt/llvm/bin:$PATH"' >> ~/.zshrc
source ~/.zshrc
​
pip install torch
pip install numpy
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
​
​
​
#03 版本检查
python -c "import torch; print(torch.__version__)"
2.6.0
​
#04 引用
from unsloth import FastLanguageModel
​
​
​
​
​
​

安装完成后，您可以使用 Unsloth 进行数据的预处理、加载和微调模型。

  • 暂时不使用

​
#01 linux 服务建议使用docker
​
​
#02 拉取镜像
docker pull modelscope-registry.us-west-1.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.3.1-1.22.2
​
#03 启动
​
​

2.2 创建Python项目

​
#01 环境是python3.11
​
#02 项目目录
Unsloth-DeepSeek-R1-8b/
├── data/                    # 存放训练数据、验证数据等
│   ├── raw/                 # 原始数据
│   └── processed/           # 预处理后的数据
│
├── models/                  # 存放模型文件
│   ├── checkpoints/         # 存储训练过程中的模型检查点
│   └── final_model/         # 存储最终微调后的模型
│
├── scripts/                 # 存放训练脚本、数据处理脚本等
│   ├── train.py             # 训练脚本
│   ├── data_preprocessing.py# 数据预处理脚本
│   └── evaluate.py          # 评估脚本
│
├── logs/                    # 存放训练日志文件
│   └── training_logs.txt    # 训练过程中的日志
│
├── wandb/                   # 存放 wandb 相关的配置和记录
│   └── wandb_config.py      # wandb 配置文件
│
├── environment/             # 环境配置文件
│   ├── requirements.txt     # 项目的 Python 依赖
│   └── environment.yml      # 如果使用 Conda，可以创建一个环境配置文件
│
├── main.py                  # 主运行文件，启动训练或其他任务
└── README.md                # 项目的描述文件，包含如何使用和运行的说明
​
​
#03 创建目录
# 创建子目录
mkdir -p data/raw
mkdir -p data/processed
mkdir -p models/checkpoints
mkdir -p models/final_model
mkdir -p scripts
mkdir -p logs
mkdir -p wandb
mkdir -p environment
​
# 创建文件
touch scripts/train.py
touch scripts/data_preprocessing.py
touch scripts/evaluate.py
touch logs/training_logs.txt
touch wandb/wandb_config.py
touch environment/requirements.txt
touch environment/environment.yml
touch main.py
touch README.md
最低0.47元/天 解锁文章
精选资源
非常简单的loar微调AI模型代码
12-20
非常简单的loar微调AI模型代码，这是一套使用深度学习技术，特别是卷积神经网络（CNN）为基础的AI模型。在深度学习领域中，CNN已经在图像识别、语音识别、自然语言处理等多种任务中取得了巨大的成功。而微调技术，...
DeepSeek R1模型Lora微调训练
Arkham的专栏
03-28 1901
DeepSeek模型微调训练
如何使用 LoRA 对 DeepSeek R1 进行微调
iCloudEnd的博客
02-01 2312
LLM 的全面微调可能非常耗费资源。PEFT 技术（例如 LoRA）通过仅调整一小部分参数提供了一种优雅的解决方案。LoRA 的工作原理是冻结模型的权重并将可训练的低秩矩阵注入关键层。考虑 Transformer 层中的权重矩阵 (W)。我们不会直接更新 (W)，而是将其更新为：这里，（A）和（B）是低秩矩阵，是被注入的可训练权重。在实践中，你可以定义一个秩r，使得（A）具有形状(N, r)，（B）具有形状(r, M)，乘法结果为具有相同形状的矩阵a（W）(N, M)。
DeepSeek R1微调训练
魔希达的博客
02-17 4595
用自定义数据集对deepseek r1模型进行微调训练，以及模型部署。
LoRA微调deepseek R1（7B）
蓝羽飞鸟的博客
02-24 4137
数据集准备，模型加载，LoRA适配，微调训练，推理全流程
利用 DeepSeek-R1 蒸馏模型结合 LoRA 和COT数据集进行高效微调
llm_way的博客
02-20 1186
DeepSeek-R1 的出现，为大语言模型领域带来了新的活力。其采用的大规模强化学习技术，是一大技术亮点。仅需少量标注数据，就能显著提升模型性能。通过构建智能训练场，动态生成题目和实时验证解题过程，模型的推理能力得到了有效锻炼。在世界大模型排名 arena 上，DeepSeek-R1 (Paper Review: DeepSeek-R1——强化学习驱动的大语言模型推理能力提升。
代码实战：使用LoRA训练HunYuan Video生成定制肖像视频（附调参经验）
沉迷单车的追风少年
01-08 1227
使用Diffusion Models定制肖像图片的教程很多，效果也很不错。之前也有基于AnimateDiff/CogVideox定制肖像视频工作，但是相比于HunYuan Video效果差距很大。毫不夸张的说，HunYuan Video生成定制肖像视频已经能达到以假乱真的程度！这篇博客主要讲述如何通过几张自己的肖像照片，使用LoRA训练HunYuan Video生成定制肖像视频。
SFT + LoRA 结合使用原理及最佳实践
最新发布
技术引领业务创新
06-12 4352
简单任务用纯LoRA，复杂任务用SFT+LoRA混合
DeepSeek本地化部署全攻略，轻松拥有专属 AI 助手
zhishi0000的博客
02-06 9166
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。2.页面下拉，根据自己电脑的配置选择合适的参数规模（7b 代表 70 亿参数，14b 代表 140 亿参数，参数越多，模型越大，效果理论上也会更好，但对电脑配置要求也更高），然后复制对应的下载命令。观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
DeepSeek-R1-7B-Distill模型微调全过程记录，LLaMA_Factory训练自己的数据集，合并lora微调模型并量化为gguf，接入微信实现自动对话回复
qq_53091149的博客
02-21 3440
DeepSeek-R1-7B-Distill模型微调全过程记录，LLaMA_Factory训练自己的数据集，合并lora微调模型并量化为gguf，接入微信实现自动对话回复
在消费级硬件上微调 DeepSeek-R1
2401_84204207的博客
02-13 1646
本篇是 DeepSeek 相关系列的第一篇，对 DeepSeek-R1 等大型 AI 模型进行微调可能需要大量资源，但使用正确的工具，可以在消费级硬件上进行高效训练。让我们探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更具成本效益的训练。🚀🔧💡DeepSeek 最新推出的 R1 模型在推理性能方面树立了新的行业标杆，其表现可与许多专有模型相媲美，但与此同时，它依然保持了开源的特性，使得更多的开发者和研究者能够访问并基于这一平台进行创新。
deepseek的CoT优势、两阶段训练的有效性学习笔记
素质云笔记
02-12 2443
deepseek的CoT优势、两阶段训练的有效性学习笔记
手把手教学，DeepSeek-R1微调全流程拆解
2401_85375151的博客
02-20 4253
DeepSeek-R1 是由深度求索（DeepSeek）公司开发的突破性推理模型。DeepSeek-R1 基于 DeepSeek-V3-Base（总共 671B 个参数，每次推理 37B 处于活动状态）构建，使用强化学习 （RL） 在提供最终答案之前生成思路链 （CoT）。为了使这些功能更易于访问，DeepSeek 将其 R1 输出提炼成几个较小的模型：基于 Qwen 的蒸馏模型：1.5B、7B、14B 和 32B基于 Llama 的蒸馏模型：8B 和 70B。
【复读】从零开始图解DeepSeek R1 架构与训练过程
AI人工智能的学习之路
04-09 1839
本文详细介绍了 DeepSeek R1 的架构设计与训练过程。DeepSeek R1 是一种先进的大型语言模型（LLM），它并非从零开始训练，而是基于已有的 DeepSeek-V3 模型，通过强化学习（RL）进行优化，以提升推理能力。文章首先解释了 DeepSeek-V3 的工作原理，它通过混合专家模型（MOE）架构，根据问题的复杂性选择不同的处理路径。接着，文章深入探讨了 DeepSeek R1 的训练过程，包括使用 GRPO 算法进行强化学习，以及如何通过奖励系统和拒绝采样等技术来优化模型的推理能力和语
deepseek 本地化部署和小模型微调
热门推荐
陈锐的技术笔记
02-03 2万+
因为本人gpu卡的机器系统是centos 7, 直接使用ollama会报所以ollama使用镜像方式进行部署， 拉取镜像ollama/ollama启动命令查看ollama 是否启动成功，Ollama 没有用户界面，在后台运行。打开浏览器，输入 “http://xx:11434/”，显示 “Ollama is running”。deepseek-r1 目前有7b, 32b, 70b, 671b 多个版本
deepseekR1
03-26 125
deepseek r1
CPO：隐含于CoT与ToT两者间的推理平衡
weixin_42619619的博客
10-17 610
但我想，CoT与ToT两种框架在宏观的reasoning范式以及对于模型自身的inference来讲，两者似乎存在着一些本质的差异：即CoT通过上下文提示激活了模型内隐变量参数化推理模式，ToT则通过多步探索与推理显式的连续表征并泛化了长链的联合概率分布。该方法使用ToT方式来探索推理路径并得到一批数据集，并结合DPO方式进行微调训练，从而让模型在推理时候能直接输出与采用ToT相近的效果的推理能力。而我认为上述在探索推理中的错误步骤甚至导致的错误结果对于模型内隐变量参数化推理下的泛化性表征意义重大。
DeepSeek大模型微调实战：保姆级全流程指南
2401_84495872的博客
02-20 6742
第一步 Python环境准备具体请见文件 requirements.txt 上方下载↑↑↑第二步 构造数据集本文数据使用.jsonl文件。数据为拟造，仅供试验1.每一行数据为一个json对象，包含一个问题和一个答案2.初学者请注意数据的内容并没有格式要求，只要在后续步骤中能够处理成训练数据即可第三步，数据处理1.加载数据集2.编写数据格式化逻辑下图的逻辑是将问题部分作为输入，答案部分作为标签。
loar训练模型 打造个人IP
03-08
### 使用LoRA技术训练模型以创建个性化内容和服务 #### LoRA 技术概述 LoRA（Low-Rank Adaptation），即低秩适应，是一种高效的微调方法，特别适用于大型预训练模型。这种方法通过引入少量参数来调整现有模型的行为，在保持原有性能的同时实现特定任务上的改进[^1]。 #### 准备工作 为了利用LoRA技术构建个性化的AI应用，需完成如下准备工作： - **环境搭建**：确保拥有支持GPU加速的开发环境，并安装必要的依赖库如PyTorch等机器学习框架。 - **获取基础模型**：选择适合目标领域的大规模预训练语言或视觉模型作为起点。对于文本生成类项目可考虑Qwen2/Llama3这样的先进架构；而对于图像处理，则可以探索Stable Diffusion等相关方案[^2]。 #### 数据收集与整理 高质量的数据集是成功的关键之一。针对想要定制的内容类型——无论是文字还是图形素材——都应精心挑选并标注样本集合。特别是当计划制作具有独特风格的艺术作品时，建议参照专门指导视频中提到的方式来进行图片优化及分类管理[^3]。 #### 训练过程详解 一旦前期准备就绪，就可以着手于具体的训练流程了： ```bash # 假设使用Python脚本启动训练进程 python train_lora.py \ --model_name_or_path="/path/to/pretrained/model" \ --train_data_dir="/home/user/images_for_training" \ --output_dir="./results" ``` 上述命令演示了一个典型的LoRA训练指令片段，其中指定了预训练模型路径、待训练数据位置以及输出保存地点。值得注意的是，在指定`--train_data_dir`参数值时要注意遵循正确的目录结构约定，避免因路径错误而导致程序无法正常读取输入资源[^4]。 #### 应用实例分析 最后，借助具体的应用案例能够更好地理解整个实施过程。比如，在智能农业领域里，可以通过融合传感器采集的信息与历史气象资料，运用经过LoRA增强后的预测算法提高作物产量估计精度；或者是在远程监控方面，凭借该技术赋予摄像头设备更强的理解能力，使其能识别更多种类的目标物体并作出及时响应。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

霍小毛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值