lora微调大模型Qwen2.5_32B

最新推荐文章于 2025-03-29 14:52:27 发布
最新推荐文章于 2025-03-29 14:52:27 发布
阅读量3.2k 收藏 29
点赞数 26
分类专栏： 大模型 文章标签： 深度学习 人工智能 llama 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lft_happiness/article/details/144050121
版权

最近有在尝试用lora微调Qwen大模型，在这里主要记录下实践过程。Qwen模型下载可以去魔塔社区，我这里是提前下载好了放在/public/DownloadedModels下。LLamaFactory源码地址：GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

 

目录

1. 准备数据

2. 设置lora微调时模型、数据位置

3. lora微调模型

 4. 模型推理

5. 模型合并

 

1. 准备数据

（1）由于我微调的目的是为了评价某些KPI指标，所以我的准备数据的格式设置如下：

（2）数据准备好之后，将json文件上传到LLamaFactory项目的data目录下：

(为了方便操作，我将data目录下的数据移到examples下了)

注：我是上传之后将data.json改名SteelData.json了，内容不变。

（3）vi打开dataset_info.son文件，并在dataset_info.json文件里添加 数据文件信息。

2. 设置lora微调时模型、数据位置

 vi打开/LLaMA-Factory/examples/train_lora目录下的llama3_lora_sft.yaml文件：

 这里需要设置Qwen模型位置，数据集的名称（这里用的是dataset_info中对steelData数据文件的命名）和微调模型的输出位置(为了方便操作，我把saves目录下也移到/LLaMA-Factory/examples目录下了)：

 

3. lora微调模型

（1）在examples目录下进行微调训练，这里需要切换到虚拟环境（具体要求可参考llamaFactory要求），FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=0,1，2，3  表示单机多卡训练。我这里微调Qwen2.5_32B一块卡是不够用的，最起码两块卡(我这里是A800的卡)。如果还报错，有可能就是卡还是不够。

 

 我这里运行报错，经过多次尝试，我发现deepspeed方法对我是有效的。

（2）于是我在llama3_lora_sft.yaml文件中添加了deepspeed设置：

 （3）添加完deepspeed之后，需要用pip 安装deepspeed，否则再次运行微调程序会显示没有deepspeed这个模块。我这里就不再安装了，截个安装好的图。

 注：安装deepspeed的时候可能会报缺少nvvc错误，这个时候可以输入以下命令安装（亲测有效，昨天刚试成功）：

conda install cuda-nvcc -c conda-forge

 （4）再次运行微调程序

(torch24) root@e70a6fd3f126:/data/LLaMA-Factory/examples# FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=0,1,2,3  llamafactory-cli train train_lora/llama3_lora_sft.yaml

运行结果如下：

（5）运行成功之后，可以看到saves/lora下有内容了：

 

 4. 模型推理

（1）  打开inference目录下的llama3_lora_sft.yaml文件，设置模型路径： 

 

（2）  运行模型推理命令

torch24) root@e70a6fd3f126:/data/LLaMA-Factory/examples# FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=0,1,2,3  llamafactory-cli chat inference/llama3_lora_sft.yaml

运行结果如下： 

 

 接下来就可以和大模型对话了。

(3) 测试微调结果

因为我数据中每次都是先计算平均值，所以这个结果说明模型是学习了，只不过效果不好，我还得继续调参数。还有不知道为什么最后又把输入数据重复了一遍，有朋友知道是为什么嘛？

5. 模型合并

（1）首先需要设置/examples/merge_lora目录下的文件llama3_lora_sft.yaml文件,如下图所示，我设置了使用的大模型位置，微调后的模型位置以及模型合并后的位置。

 （2）设置完之后就可以运行模型合并程序了

(torch24) root@e70a6fd3f126:/data/LLaMA-Factory/examples# llamafactory-cli export merge_lora/llama3_lora_sft.yaml

 运行结果如下：

 运行完之后，modles/llama3_lora_sft目录下就有内容了：

以上便是最近lora微调大模型Qwen2.5_32B的实践过程了，希望可以帮助到大家~

感谢关注！！后续有关大模型的实践也将尽快更新~ 

联想Y7000+4060显卡+16G内存+ubuntu22.04微调Qwen2.5-VL-2B
hzm8341的博客
12-31 934
4060显卡LoRA微调Qwen2.5-VL-2B
llama factory lora 微调 qwen2.5 7B Instruct模型
weixin_41046245的博客
11-14 3743
项目背景 甲方提供一台三卡4080显卡 需要进行qwen2.5 7b Instruct模型进行微调。以下为整体设计。要使用对进行，流程与之前提到的模型类似。LoRA 微调是一种高效的微调方法，通过低秩适配器层来调整预训练模型的权重，而不是全量训练整个模型。
llamafactory报错：双卡4090GPU，训练qwen2.5:7B、14B时报错GPU显存不足（out of memory），轻松搞定~~~
Ven%的博客
12-27 2024
使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定，还是会报这个错误；微调14B的话，直接就报错了，根本跑起来。（显卡配置为两张23G的4090显卡，显存一共46G）目测lora微调显存的大小是模型本身大小的3倍以上，才能正常跑起来。注: 若不知道这个配置的代表什么含义的话，可以看这一篇。
阿里qwen2.5大模型微调实践：全面指南，非常详细收藏我这一篇就够了
lvaolan的博客
03-17 1337
虽然ChatGPT能理解和创建一般文本，但它可能没有针对复杂的医学术语和特定医疗术语进行优化，这时医院可以用包含医疗报告和患者笔记的数据集上对ChatGPT进行微调，这样模型变得更加熟悉医学术语、临床语言的微妙之处和典型的报告结构，微调后的ChatGPT才有可能成为医生的好助手，要不然医生们肯定会嫌弃它很傻。例如，LoRA和QLoRA是目前主流的大模型微调方法之一，它们通过冻结预训练模型的大部分参数，只微调一小部分额外的参数，从而避免灾难性遗忘，并且快速迁移到新的任务上。
阿里云Qwen2.5-VL-32B-Instruct模型
最新发布
美百联盟的博客
03-29 222
Qwen2.5-VL-32B-Instruct通过强化学习与视觉语言对齐技术，在320亿参数规模下实现了对数学推理、图像细粒度理解的颠覆性提升，成为多模态AI部署的性价比首选。在多模态任务（MMMU、MMMU-Pro、MathVista）和主观体验评估（MM-MT-Bench）中，表现均优于720亿参数的Qwen2-VL-72B-Instruct。支持本地运行，已集成至Hugging Face平台，可通过Qwen Chat直接体验，或在PAI-Model Gallery一键部署。
Qwen2.5大模型微调实战：医疗命名实体识别（NER）任务（完整代码）
python12345_的博客
01-25 1605
命名实体识别 (NER) 是一种NLP技术，主要用于识别和分类文本中提到的重要信息（关键词）。这些实体可以是人名、地名、机构名、日期、时间、货币值等等。NER 的目标是将文本中的非结构化信息转换为结构化信息，以便计算机能够更容易地理解和处理。​​NER 也是一项非常实用的技术，包括在互联网数据标注、搜索引擎、推荐系统、知识图谱、医疗保健等诸多领域有广泛应用。​​SwanLab 是一个开源的模型训练记录工具，常被称为"中国版 Weights&Biases + Tensorboard"。
手把手带你微调阿里qwen2.5大模型
python12222_的博客
10-23 1万+
大模型微调，也称为 Fine-tuning ，是指在已经预训练好的大型语言模型 基础上（一般称为“基座模型”），使用特定的数据集进行进一步的训练，让模型适应特定任务或领域。经过预训练的基座模型其实已经可以完成很多任务，比如回答问题、总结数据、编写代码等。但是，并没有一个模型可以解决所有的问题，尤其是。
大模型微调｜使用LoRA微调Qwen2.5-7B-Instruct完成文本分类任务
Meiling_up
01-15 4197
本篇博客记录如何使用LoRA完成Qwen2.5-7B-Instruct微调及报错相应解决方法。
阿里发布 Qwen2.5-Coder：32B 模型超越一众开源模型
weixin_51674085的博客
11-12 752
本次带来了 0.5B、3B、14B、32B 四个尺寸，其中 32B 模型以碾压姿态超越了一众开源模型，甚至比肩 GPT4o 和 Claude 3.5 Sonnet。官方还演示了如何结合 Cursor 在 1 分钟内实现一个贪吃蛇游戏，并通过 Open WebUI 实现了类似 Claude Artifacts 的功能。此外，通义官网还即将上线代码模式，支持一句话生成网站、小游戏和数据图表等各类可视化应用。
【全网首发】使用 LoRA 微调 Qwen2.5-VL-7B-Instruct：完整流程解析
HovChen的博客
01-28 1万+
本篇文章介绍了如何使用 LoRA（Low-Rank Adaptation） 技术对 Qwen2.5-VL-7B-Instruct 进行轻量级微调，从而高效适配特定任务。我们详细解析了 模型加载、数据预处理、LoRA 适配、训练配置及推理评估 的完整流程，并提供了代码示例。通过 LoRA，我们可以 在较低计算资源下快速微调大规模视觉-语言模型（VLMs），使其更适用于特定领域任务。对于希望优化 Qwen2.5-VL 并实现高效微调的开发者，本文提供了一套实用的解决方案。🚀
(附数据集)基于lora参数微调Qwen1.8chat模型的实战教程
小知的博客
03-16 4403
与全参数微调不同，LoRA和Q-LoRA的训练只需存储adapter部分的参数。使用LoRA训练后的模型，可以选择先合并并存储模型（LoRA支持合并，Q-LoRA不支持），再用常规方式读取你的新模型。一般会缓存到你的C盘或用户空间，所以要根据自己情况查看模型。也可以通过下面日志查看模型所在位置，如。使用微调后且合并的模型进行本地部署。阿里魔搭社区notebook的。觉得不错，点个star噢。里：下载模型会缓存在。克隆Qwen项目，调用。文件进行配置与微调。
qwen2.5微调和评估
知识空间
11-01 760
https://github.com/hiyouga/LLaMA-Factory/blob/main/examples/README_zh.md#lora-微调。使用 Adam-mini 进行全参数训练。opencompass模型评测工具。
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
热门推荐
xxue345678的博客
09-19 2万+
进行微调。在这里，我们将展示可直接运行的demo。
阿里 Qwen-2.5 Coder 32B 测评：成绩亮眼，实战为何让人失望？
m0_59235245的博客
11-14 7606
Qwen-2.5 Coder系列是阿里巴巴推出的最新代码生成模型，具体信息来自于阿里巴巴发布的Qwen2.5-Coder Technical Report。根据该技术报告，Qwen-2.5 Coder在前一代CodeQwen1.5的基础上进行了大幅升级，推出了从0.5B到32B不同参数量的六个模型。作为一个代码专用模型，Qwen-2.5 Coder基于Qwen2.5架构构建，预训练数据规模超过5.5万亿标记，采用了严格的数据清洗、大规模的合成数据生成和数据平衡策略。
实践分享|书生·浦语 InternLM2.5 PyTorch模型微调的最佳实践
2401_87243659的博客
09-18 1363
本次实践采用的是一款应用使能开发套件openMind，在调用数据集训练、推理、微调等方面挺方便顺畅的。openMind，一款应用使能开发套件，为各大模型社区提供支持，提供海量模型/数据托管能力、在线推理体验服务，同时具备模型训练、微调、评估、推理等全流程开发能力。开发者通过简单的API接口即可实现微调、推理等任务，极大缩短开发周期，助力AI技术的创新发展。目前，openMind已支持欢迎在魔乐等AI生态社区，欢迎体验。
Lora微调Qwen-1_8B-Chat模型实践（魔搭社区）
m0_65156252的博客
09-02 595
样本放入列表存为json文件，命名为chat.json（可以先下载再上传）（2）fp16精度问题：true改为false。（1）相关依赖包不匹配：根据错误提示更新即可。三、保存微调后模型并测试。此处容易出现的问题-
【大语言模型+Lora微调】10条对话微调Qwen-7B-Chat并进行推理 (聊天助手)
进一寸有一寸的欢喜
04-19 5069
基于qwen1.0 和lora微调,训练自己的对话机器人
Qwen2.5-7B-Instruct Lora微调
weixin_40280870的博客
12-22 1164
Qwen2.5-7B-Instruct Lora微调是一种基于低秩矩阵的微调方法，通过在特定层添加额外参数来优化模型，适用于指令性文本任务。微调后的模型在问答系统、自动摘要生成和指令执行等场景中表现更佳。具体实施包括环境搭建、模型下载、Lora配置和训练参数设置。通过Lora微调，模型能够更精准地响应专业指令，拓宽应用潜力。
lora微调qwen2.5-7b
01-18
### 对Qwen 2.5-7B模型应用LoRA微调技术 #### 安装依赖库 为了能够顺利地对Qwen 2.5-7B模型进行LoRA微调，需要安装必要的Python包。这通常包括`transformers`、`peft`以及其他可能用到的数据处理工具。 ```bash pip install transformers peft datasets evaluate accelerate bitsandbytes ``` #### 加载预训练模型与分词器 加载Hugging Face上的Qwen 2.5-7B模型及其对应的分词器是开始微调的第一步。通过指定正确的模型名称可以轻松完成此操作[^1]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "Qwen/Qwen-7B" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained( model_name_or_path, trust_remote_code=True ) ``` #### 配置并初始化LoRA适配层 接下来，在原始模型基础上添加LoRA参数高效的调整能力。这里会涉及到设置一些超参数来控制LoRA的行为模式，比如秩大小(r)以及目标模块的选择等。 ```python from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, # LoRA attention dimension lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", ) model = get_peft_model(model, lora_config) ``` #### 准备数据集 对于特定任务（如对话系统），准备合适的数据集至关重要。如果是以中文法律问答为例，则应采用专门为此场景设计的数据集DISC-Law-SFT来进行训练[^2]。 ```python from datasets import load_dataset dataset = load_dataset('path_to_DISC_Law_SFT') ``` #### 训练配置与启动 定义好优化算法和其他训练选项之后就可以正式开启训练流程了。考虑到资源的有效利用，建议合理设定batch size、epoch数量等参数，并考虑使用混合精度加速计算效率。 ```python import torch from transformers import Trainer, TrainingArguments training_args = TrainingArguments( output_dir="./results", per_device_train_batch_size=4, num_train_epochs=3, logging_steps=10, save_strategy="steps", evaluation_strategy="epoch", fp16=True, # Enable mixed precision training. ) trainer = Trainer( model=model, args=training_args, train_dataset=train_data, eval_dataset=val_data, tokenizer=tokenizer, ) trainer.train() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值