llamafactory用多卡4090服务器，训练qwen14B大模型时报错GPU显存不足oom（out of memory），已解决

已于 2024-12-27 15:17:17 修改
阅读量3.9k 收藏 27
点赞数 13
文章标签： 服务器 语言模型 python llama
于 2024-10-23 10:26:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38773993/article/details/143175380
版权

(llamafactory用多张4090卡，训练qwen14B大模型时oom(out of memory)报错，torch.OutOfMemoryError:CUDA out of memory,Tried to allocate 136MB，GPU 5 has a total capacity of 23.64GB which 16.56MB is free，已解决)

1.问题描述

通过export CUDA_VISIBLE_DVICES=0,1,2,3,4,5,6,7指定使用8张显卡，训练qwen2.5-7B大模型时正常，但训练qwen2.5-14B，qwen2.5-32B模型时报错，torch.OutOfMemoryError:CUDA out of memory,Tried to allocate 136MB，GPU 5 has a total capacity of 23.64GB which 16.56MB is free 。
大概意思就是说GPU显存不足，很明显不符合实际，我的8张4090卡总显存是8*24GB，理论上14B的大模型肯定能跑起来。

linux服务器环境：
系统：Ubuntu22；
硬件：本机512G内存，8张4090显卡；
python：3.10版本；
llamafactory版本：0.9.1.dev0；
cuda版本：12.4版本；
pytorch版本：2.4.0+cuda121(GPU)；
大模型：qwen2.5（7B，14B，32B，72B）Instruct版；
在这里插入图片描述

2.解决方案

  1. 减小大模型训练参数： 查一些帖子说是大模型训练参数太大，尝试减小数据量，减小步数，fp16位精度等，依旧不行，未解决，说明不是模型训练参数太大；
  2. 多余的内存分配给CPU： 从上面的oom报错原因我们可以看出，给GPU分配了136M内存，但实际GPU只剩16M了，导致oom报错，使用ZeRO-offload 技术通过一系列策略，将原本在GPU上处理的一部分数据和任务转移到CPU上，以此来降低GPU内存的占用，解决oom报错问题。
    **具体解决方案：**在LLaMA-Factory目录下新建一个run_train_bash.sh新件，具体目录如下图：
    在这里插入图片描述
    在run_train_bash.sh文件中，设置参数如下：
    model_name_or_path和output_dir 改成你自己的本地大模型和输出路径就行；
    src/train.py 取决于你src目录下的训练启动文件名，这个是llamafactory自带的；
    CUDA_VISIBLE_DEVICES：看你有几张卡，需要用几张卡，我的是8张卡；
    其它都是训练参数，根据实际需要修改。最重要的是deepspeed ds_config_zero3.json这行，
    这个是qwen官网给的。deepspeed 库可以用pip install deepspeed 安装一下。

run_train_bash.sh文件中内容：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 accelerate launch  src/train.py \
    --deepspeed ds_config_zero3.json \
    --stage sft \
    --do_train True \
    --model_name_or_path /home/admin1/Qwen2.5
最低0.47元/天 解锁文章
福小白
关注
[论文笔记] llama-factory 微调qwen2.5、llama3踩坑
心宝的博客
10-18 1543
【代码】[论文笔记] llama-factory 微调qwen2.5、llama3踩坑。
LLaMA Factory多卡微调的实战教程（持续更新）
热门推荐
herosunly的博客
06-12 23万+
本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
llamafactory报错：双卡4090GPU，训练qwen2.5:7B、14B时报错GPU显存不足（out of memory），轻松搞定~~~
Ven%的博客
12-27 2085
使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定，还是会报这个错误；微调14B的话，直接就报错了，根本跑起来。（显卡配置为两张23G的4090显卡，显存一共46G）目测lora微调显存的大小是模型本身大小的3倍以上，才能正常跑起来。注: 若不知道这个配置的代表什么含义的话，可以看这一篇。
LLaMA-Factory多机多卡训练实战
q742971636的博客
03-17 568
参考资料：https://llamafactory.readthedocs.io/zh-cn/latest/advanced/distributed.html以训练qwen2.5vl 7b 为例子。more。
多卡微调全参qwen-14b ubuntu22.04 8*4090 踩坑简单记录
weixin_46566149的博客
01-11 4081
最后序列长度恢复为512，batchsize恢复为16，梯度累计为16，成功跑起来。每张卡可以占满，内存占用520G。调小batchsize=8,调小batchsize=4，调小batchsize=1，都不起作用。model参数+优化器+梯度+中间计算变量即4份model参数，我们需要112g的显存。调小序列长度=1024，调小序列长度=256，不起作用。我们的8*4090 8*24G=192G显然是远远足够的。配置zero-3，不起作用。，即在zero3的基础上启用cpu计算，
用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法
qysh123的专栏
02-08 1784
但是GitHub这里说得比较简略了，具体怎么解决呢，在yaml文件的method那一部分加入：deepspeed: examples/deepspeed/ds_z3_config.json。如果需要微调比较大的模型，例如Qwen2.5-32B，那么在两个3090上可能不够用，这里我用A6000×4的服务器。呵呵呵，这个bug还不知道有什么办法能解决，现在对32B的模型可以这样，72B的就无能为力了。哪怕不加上微调模块，模型输出也是胡说八道（输出乱码）。ps：从loss看似乎没训练好，但是总是可以跑了。
【错误记录】llamafactory-train的时候-跑到50%左右-OOM
yxx122345的博客
12-12 1509
两张V100*32G训练LLaMA3-8B-Chat从硬件设施上来看训这个8B应该是绰绰有余不至于OOM。
LLaMA-Factory多机多卡训练
xiong_wq的博客
10-23 7398
为了在多机多卡环境下训练大模型，我们可以使用。它支持多种常见模型，集成了包括（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等训练方法，并且有web-ui和命令行两种使用方式，是目前主流的模型训练框架之一。
保姆级零基础微调大模型（LLaMa-Factory，多卡版）
K_Kelly_的博客
05-08 1万+
看到网上的教程很多都是教如何用webui来微调的，这里出一期命令行多卡微调教程~
LLama factory 单机多卡-简易版-教程
yxx122345的博客
12-10 3683
Offload 技术通过将部分模型的状态或计算从显存转移到更大的主机内存（CPU RAM）或高速存储设备（NVMe），有效降低 GPU 显存占用，同时兼顾性能。声明llama3-3b-instruct不支持deepspeed不要轻易尝试不然debug就是一整天，这个deepspeed不用选！是一种灵活、高效的显存优化技术，通过卸载计算任务和数据到 CPU 或 NVMe，能够支持更大的模型训练，适应不同的硬件条件和需求。训练大型模型（如 GPT-3 或其他数十亿参数的模型）时，显存可能成为瓶颈。
保姆级零基础微调大模型（LLaMa-Factory，多卡版）_llamafactory多卡训练
月流霜的专栏
08-25 1282
第一次尝试多卡微调大模型中途遇到了挺多坑，并且感觉有一些思维上的误区，要及时记录下来：1. 使用unsloth训练只能用单卡2. 配置文件一定要好好看，每个都看懂，比如说yaml文件，有一些配置默认的要改成合适的，在微调的时候就要多点去了解每个参数的含义3. 报错第一时间去看issue，而不是在网上乱搜4. 要尽量使用2的次方的卡数，比方说2，4，8，用其他的不符合操作系统的规律，可能会有一些问题，比如说算力分配不均衡，2**n的张量无法拆分进行运算。
高并发大模型推理服务内存优化实战：KV Cache 管理、显存调度与资源复用策略全解析
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
05-08 330
在大模型推理系统进入高并发部署阶段后，如何优化显存资源、提升 KV Cache 复用率、降低推理过程中长尾内存压力，成为影响系统稳定性和成本控制的关键因素。特别是在多实例、长上下文、Streaming 推理频繁的场景中，推理服务常面临 GPU 显存爆满、Cache page 溢出、OOM 崩溃等问题。本文结合 vLLM 架构与实际部署案例，深入剖析高并发推理系统中的核心内存管理策略，包括 KV Cache 分配与回收机制、Page 管理优化、批次拼接提升显存利用率，以及多模型共存下的显存隔离与负载均衡方法，
LLaMA Factory单机微调的实战教程
herosunly的博客
04-24 20万+
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调
torch.nn.DataParallel的多GPU训练导致OOM解决方法
bb8886的博客
06-15 1076
torch.nn.DataParallel的多GPU训练导致OOM解决方法
llama-factory/peft微调千问1.5-7b-chat
qq_43814415的博客
05-02 3849
本文实现了llama-factory和自己基于peft进行qwen1.5-7b-chat的sft微调，评测。llama-factory兼容了很多加速方法，非常方便；自己写虽然慢，但是对底层的数据组织，处理认识更深。值得一提的是，LLM本质上还是一个分类预测任务，因此也采用CrossEntropyLoss，指数化后就是困惑度参考：1.2.3.4.5.6.7.8.9.
CUDA out of memory（然鹅明明还有空间）
联邦学习小白
09-16 1万+
模型跑完想再跑一遍的时候居然给我报“CUDA out of memory”，很明显，我的显卡虽然菜，但起码还是可以跑的，毕竟刚跑完，那就可能是python在运行完以后没有释放资源，导致GPU的内存满了。 如果是这样的话，那解决的方法就很简单了，直接把进程杀死就行。 首先在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi（也可以用nvidia-smi.exe -l 1，每秒更新CUDA使用情况），显示当前gpu的使用情况如下： 显
Cuda out of memory原因以及解决办法
Chenglin(Ben) Yu's Miracle
11-22 523
Cuda out of memory原因以及解决办法 文章目录Cuda out of memory原因以及解决办法batch_size设置过大 batch_size设置过大 最近在做对抗训练方面的实验，当batch_size设置为256的时候，出现cuda out of memory. 当将batch_size修改为128时，则正常运行。
【AI大模型】Transformers大模型库（六）：torch.cuda.OutOfMemoryError: CUDA out of memory解决
人工智能领域博客
06-11 2653
采用GPU进行大模型训练及推理，在初期遇到最多的错误就是CUDA out of memory，主要意味着你的模型在训练或运行过程中尝试分配的GPU内存超出了可用部分，简称“爆显存”
解决大模型训练中的CUDA out of memory
weixin_52147110的博客
06-14 1192
首先查看了训练 SFTTrainer 中的精度（sft_trainer.py 官方文档 line253）如下，说明只有当模型是4bit且不是 shared QLoRA 时，才会调用 peft_module_casting_to_bf16 函数，将PEFT模块转换为bf16（bfloat16）精度。该模型符合要求，因此去修改peft模块中的参数 bf16=False，但是还是报错，后来逐步检查发现是在模型训练初始阶段设置了bf16，将其改为float16就可以了。，于是尝试做了修改并实现了成功。
llamafactory多卡训练
01-09
### LlamaFactory 多GPU分布式训练配置教程 对于希望利用多张 GPU 提升训练效率的研究者而言，在 LlamaFactory 项目中实现这一点可以通过采用 `torch.nn.DataParallel` 或更推荐的 `torch.distributed.launch` 来达成[^1]。 #### 使用 DataParallel 进行简单并行化处理 当选择较为简单的方案时，可以考虑使用 PyTorch 自带的 `DataParallel` 类来快速启动一个多 GPU 的训练环境。然而需要注意的是，这种方法虽然易于设置却可能不是最高效的解决方案，因为它会在每个批次结束时收集所有设备上的梯度再更新参数，容易造成性能瓶颈[^3]。 ```python from torch import nn model = ModelLoader.load_model() # 加载模型实例来自定义函数或类 parallel_model = nn.DataParallel(model).cuda() ``` #### 推荐做法：Distributed 数据并行模式 为了获得更好的扩展性和更高的计算资源利用率，建议使用基于进程组（Process Group）的方式来进行分布式训练。这种方式允许每一块显卡运行独立的 Python 进程，并通过消息传递接口(MPI)或其他通信库同步状态。具体操作如下： - **Step 1**: 修改命令行指令以适应新的启动方式。假设已经按照官方指南安装好了必要的依赖项，则可以在终端执行下面这条命令开启服务端口监听以及指定参与运算的具体 GPU 编号列表: ```bash CUDA_VISIBLE_DEVICES="0,1,2,3" python -m torch.distributed.launch --nproc_per_node=4 train.py ``` 这里 `-m torch.distributed.launch` 是用来发起多个子进程中每一个都将负责一部分工作负载；而 `--nproc_per_node=4` 参数指定了在同一节点内部署四个进程分别对应四块不同的 GPU 设备。 - **Step 2**: 对于实际编写代码部分来说，需要引入额外的支持以便能够正确初始化这些分布式的组件并且调整原有程序逻辑使之兼容新架构下的运作机制。以下是简化后的模板片段展示了如何改造原有的训练循环使其支持跨机器间的协作学习过程： ```python import os import torch import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def setup(rank, world_size): """ 初始化分布式环境 """ os.environ['MASTER_ADDR'] = 'localhost' os.environ['MASTER_PORT'] = '12355' # initialize the process group dist.init_process_group("nccl", rank=rank, world_size=world_size) def cleanup(): """ 清理分布式环境 """ dist.destroy_process_group() class Trainer(object): def __init__(self, model, device_id=None): self.model = model.to(device_id) self.ddp_model = DDP(self.model) def train_step(self, batch_data): output = self.ddp_model(batch_data) loss = compute_loss(output) optimizer.zero_grad() loss.backward() optimizer.step() if __name__ == "__main__": local_rank = int(os.getenv('LOCAL_RANK', '0')) setup(local_rank, world_size=4) # 假设有4个GPU try: trainer = Trainer(ModelLoader.load_model(), f'cuda:{local_rank}') dataset_loader = DataLoader(DataWorker.prepare_dataset()) for epoch in range(num_epochs): for data_batch in dataset_loader: trainer.train_step(data_batch) finally: cleanup() ``` 上述代码段实现了基本的功能需求——即让各个 worker 能够协同作业而不至于因为空闲等待而导致整体进度受阻。值得注意的地方在于，DDP 构造器会自动管理不同 ranks 上面的数据切分与聚合任务，从而有效减少了不必要的通讯开销提升了吞吐量表现[^2]。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值