AI大模型：（二）3.2 Llama-Factory微调训练deepseek-r1实践

hay_lee

已于 2025-06-08 22:19:05 修改

阅读量389

点赞数 1

分类专栏： AI大模型开发文章标签：人工智能

于 2025-06-07 23:18:30 首次发布

本文链接：https://blog.csdn.net/yztezhl/article/details/148459644

版权

AI大模型开发专栏收录该内容

13 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

5.1.Llama-Factory数据格式

1.环境准备

我们使用python虚拟环境做隔离，防止包冲突：

python -m venv python_model       # 创建名为python_model的虚拟环境
source python_model /bin/activate  # 激活环境（Linux/macOS）
 
python_model\Scripts\activate.bat  # 激活环境 windows

2.模型下载

训练时选择模型大小，需要考虑gpu显存、模型存储（存储一般现在存储资源也不贵，也很大，一般都够）：

2.1.显存计算

gpu显存计算公式：</

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

hay_lee

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

LLaMA-Factory微调DeepSeek-R1-Distill-Qwen-7B

luoshiyong123的博客

05-07

286

根据患者的详细病史和实验室检查结果，可以得出以下结论：\n\n1. **病因分析**：\n - **细菌感染**：尤其是Streptococcus pyogenes，可能导致关节炎，常见于儿童。\n\n4. **治疗转归**：\n - **切开引流后体温下降**和**急性症状消退**：说明感染得到了初步控制，可能细菌已被清除。从不同的角度来看，答案可能会有所不同：\n\n1. **从生物学角度来看**：鸡的形成需要经过漫长的进化过程，可能需要先有母鸡或其他条件，然后再有蛋的出现。

使用 LLaMA-Factory 微调大模型

TFATS的博客

01-14

1286

**本文将介绍如下内容：** - **一、搭建 Docker Container 环境** - **二、配置大模型训练环境** - **三、构建、配置数据集** - **四、训练大模型**

参与评论您还未登录，请先登录后发表或查看评论

LLaMA-Factory DeepSeek-R1 模型微调基础教程

Maddie_Mo的博客

02-14

9594

使用LLaMA-Factory进行模型微调具有多方面的好处。首先，它简化了大模型微调的过程，使得即使是没有深厚技术功底的用户也能轻松进行模型的优化和改进。此外，LLaMA-Factory支持多种训练方法，如全量调参、LoRA等，以及不同的对齐方案，如DPO、PPO等。这为用户提供了灵活性，可以根据具体需求选择合适的微调策略。LLaMA-Factory还提供了一站式服务，从模型微调到量化处理，再到运行，整个过程一气呵成，无需在不同的工具和流程之间来回切换。

Ubuntu 服务器Llama Factory 搭建DeepSeek-R1微调训练环境

谁念西风独自凉

02-20

2113

LLaMA-Factory 是一个强大的大型语言模型微调框架：支持多种模型：涵盖 LLaMA、LLaVA、Mistral、Mixtral-MOE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等 100 多种模型。集成多种方法：包括（增量）预训练、（多模态）监督微调、奖励建模、PPO、DPO、KTO、ORPO 等方法，满足不同任务和场景的需求。

LLaMA-Factory训练DeepSeek大模型+本地部署

墨家巨子@俏如来

03-10

3488

前面我们介绍了基于硅基流动训练私有大模型《10分钟教你微调自己的私有大模型》，该平台有三个不好的点就是可选的模型有限，训练时间需要排队等待耗时长，另外还要给钱。今天我们换一个平台，使用：魔搭平台 + llamaFactory训练私有模型。平台会赠送服务器时长这样我们就可以不用花钱就可以训练自己的大模型了(学习使用)

政安晨的AI大模型训练实践四：准备一个合适的模型微调，先试一下，比如：DeepSeek-R1-14B-Distill

政安晨——致力于AI人工智能数字互动领域

02-08

520

我们尝试使用 DeepSeek-R1-14B-Distill这个DeepSeek R1 14B的蒸馏模型来微调。微调一个有一定参数规模的大模型比如14B的DeepSeek-R1大概准备200G以上的空间。

使用 LLaMA-Factory 对 DeepSeek R1进行微调教程

liuwanqing233333的博客

04-15

989

使用 LLaMA-Factory 对 DeepSeek R1进行微调教程

【LLaMA-Factory】使用LoRa微调训练DeepSeek-R1-Distill-Qwen-7B

Java技术栈，分享不断学习、不断超越、不断积累的历程！

05-09

961

不能复制下载地址，然后在机器上使用。方便每次登录终端自动切换到对应的。如果不出现一下的情况则已经禁用。需要梯子(科学上网)，才能加载。如果不禁用开源驱动，直接安装。命令直接下载，这样请求会返回。，会安装失败，在日志文件。模型有点吃紧，可以使用。中会出现以下错误信息。

用llama-factory微调DeepSeek-R1

xuebodx0923的博客

02-23

1724

用llama-factory的0.9.1版本微调DeepSeek-R1-Distill-Qwen-1.5B,微调数据是对文档段进行问答对提取的4000条样本。使用微调后的模型进行推理。合并微调后的模型问题。微调GPU配置H20-96G。H20-96Gpython3.10.8touch 2.1.2+cu121torchvision 0.16.2+cu121CUDA Version: 12.4https://github.com/hiyouga/LLaMA-Factory/tree/v0.9.1cd LLa

LLama-Factory零代码微调DeepSeek

weixin_59534602的博客

04-08

1236

LLama-Factory零代码微调DeepSeek教程，包教包会。

LLaMA-Factory训练DeepSeek修改自我认知

sl798970799的博客

02-19

691

deepseek微调修改自我认知详细教程

深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）

ak47maker的博客

06-05

634

本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。

yolo模型精度提升策略

最新发布

qq_47798402的博客

06-09

288

结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、

【python深度学习】Day 45 Tensorboard使用介绍

2203_75479908的博客

06-05

668

之前在神经网络训练中，为了帮助自己理解，借用了很多的组件，比如训练进度条、可视化的loss下降曲线、权重分布图，运行结束后还可以查看单张图的推理效果。tensorboard这个库，集成了以上所有可视化工具。

智能终端与边缘计算

wozaiwurenchu的博客

06-05

866

Cloudlet的定义和主要特征Cloudlet（微云）概念于2009年首次出现。它是一种成熟的边缘计算系统，旨在将移动计算的“端-云”两层架构转变为**“端-边-云”的三层架构** [对话历史]。Cloudlet通常部署在网络边缘，靠近接入点、基站或汇聚点，甚至可以直接运行在智能网联汽车或无人机上 [对话历史]。主要特征：可信且资源丰富的主机或机群。基于虚拟机技术，为移动终端提供服务。Cloudlet通过将与具体应用相关的数据部分从通用部分中抽离出来，形成VM Overlay与Base VM。

法律AI的“幻觉”治理：大模型如何重塑司法公正与效率

七刀的专栏

06-04

1176

在传统律师事务所中，一位律师审查一份50页的商业合同平均需要3小时；而在引入法律大模型后，这一时间被缩短至20分钟。效率提升的背后，是一场正在席卷全球法律体系的智能化革命——。

Langchain4j 文档处理（7）

m0_58617940的博客

06-05

1131

来自 langchain4j 模块的文件系统文档加载器（FileSystemDocumentLoader）来自 langchain4j 模块的类路径文档加载器（ClassPathDocumentLoader）来自 langchain4j 模块的网址文档加载器（UrlDocumentLoader）来自 langchain4j-document-loader-amazon-s3 模块的亚马逊 S3 文档加载器（AmazonS3DocumentLoader）

【oobabooga 本地AI模型搭建】

开心就好了啦

06-05

946

用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的。

高效VLM：VisionZip

my的博客

06-04

656

《VisionZip：视觉语言模型中的高效视觉标记压缩方法》针对现有视觉语言模型(VLMs)存在的视觉标记冗余问题，提出了一种创新解决方案。研究发现，传统VLMs使用长序列视觉标记会导致计算成本高昂，且大量标记注意力权重趋近于零，存在显著冗余。VisionZip通过两阶段处理（保留主导标记+合并次要标记），在仅保留10%标记的情况下实现95%的原模型性能，并将LLaVA-NeXT模型的预填充时间减少8倍。该方法支持无训练应用、高效微调和从头训练三种模式。

llama-factory微调DeepSeek-R1-Distill-Qwen-7B

02-27

### 使用 LLaMA-Factory 对 DeepSeek-R1-Distill-Qwen-7B 模型进行微调对于希望使用 `LLaMA-Factory` 工具对特定模型如 `DeepSeek-R1-Distill-Qwen-7B` 进行微调的情况，可以遵循以下指导： #### 准备环境与资源确保已经按照官方说明克隆了项目仓库并安装依赖项。这一步骤至关重要，因为后续操作均基于此开发环境中执行。 ```bash git clone http://developer.sourcefind.cn/codes/OpenDAS/llama-factory.git cd llama-factory && pip install -e ".[torch,metrics]" ``` 上述命令用于获取最新版本的源码以及设置必要的Python包支持[^1]。 #### 配置微调参数文件创建或编辑配置YAML文件以定义具体的超参设定、数据路径及其他选项。针对不同任务需求调整这些参数能够显著影响最终效果。例如，在处理图像分类问题时，可能需要特别指定输入特征维度等细节。假设有一个名为 `my_custom_finetune_config.yaml` 的配置文件，其中包含了关于目标领域（比如时尚物品识别）、训练集位置以及其他必要信息的内容描述。 #### 执行微调过程利用预构建脚本启动实际的微调流程。这里假定采用的是低秩适应（LoRA）技术来进行高效迁移学习，则对应的CLI指令可能是这样的形式： ```bash llamafactory-cli train examples/train_lora/mytrain_lora_sft.yaml ``` 这条语句会读取之前准备好的配置文档，并据此开始优化给定的基础架构——即此处提到的 `DeepSeek-R1-Distill-Qwen-7B` ——使之更贴合于新的应用场景下的表现期望[^2]。 #### 测试改进后的性能一旦完成一轮或多轮迭代更新之后，应当及时评估新版本的表现差异。借助内置Web界面功能可以直接加载最新的检查点权重，并通过交互方式快速验证某些具体实例上的变化趋势。 ```bash llamafactory-cli webui ``` 此时可以在图形界面上轻松上传待测样本（如图片），观察经过定制化改造过的网络结构能否更加精准地给出预期类别标签[^3]。 #### 应用场景中的考量考虑到实际应用背景中存在将第三方标注体系转换成本地标准的需求，直接通过对基础AI系统的针对性再教育来减少中间环节误差不失为一种有效策略。这种方式不仅有助于提升整体判断精度，同时也简化了后期维护工作流的设计复杂度[^4]。