deepspeed单机多卡训练报错

最新推荐文章于 2024-06-09 13:38:06 发布
最新推荐文章于 2024-06-09 13:38:06 发布
阅读量598 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a018917/article/details/135928592
版权

项目场景：

单机多卡训练deepspeed框架一直报错
有八个GPU，使用deepspeed脚本一直报错ValueError: No slot ‘5’ specified on host ‘localhost’

问题描述

llava1.5多卡微调
在这里插入图片描述
添加include后仍报错ValueError: No slot ‘5’ specified on host ‘localhost’

原因分析：

可能是之前使用export CUDA_VISIBLE_DEVICES指定GPU启动打乱了localhost中list序列号

解决方案：

重新export CUDA_VISIBLE_DEVICES=0，1…覆盖一下loaclhost
日志中存在警告export和include不能共存，因此优先使用include命令 设置5 6 卡进行训练
在这里插入图片描述在这里插入图片描述

更新：
在这里插入图片描述
日志里面有参数 把list重新设置一下就好了

a018917
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
保姆教程白嫖GPU T4*2！Kaggle实现chatglm微调任务-单机多卡训练测试
05-27
利用Kaggle的GPU T4*2资源进行单机双卡训练微调Chatglm模型，最后进行本地CPU运行验证。
valueerror: no slot “”specified on host ‘localhost‘
weixin_43013480的博客
01-18 1008
deepspeed 单机多卡的时候不要设置export CUDA_VISIBLE_DEVICES，否则容易出现序号的错误。例如设置export CUDA_VISIBLE_DEVICES=4,5 就会报valueerror: no slot “”specified on host ‘localhost’故可以直接如下所示，添加 --include localhost:2,3。
【Pycharm】如何在pycharm中调试deepspeed，调试时常见的坑
a_piece_of_ppx的博客
03-04 741
【Pycharm】如何在pycharm中调试deepspeed，调试时常见的坑
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练
胖胖大海的博客
11-17 3053
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用
基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)
ybdesire的专栏
12-21 2353
基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)的解决方法
「新生手册」：PyTorch分布式训练
zandaoguang的博客
04-05 887
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨花花@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/3604055...
deepspeed多卡训练报错：NameError: Field “model_persistence_threshold“ has conflict with protected...
Micheal_Yuans的博客
07-02 918
在单机多卡服务器上使用微软得deepspeed分布式训练Bloom模型遇到上述错误。
基于pytorch的单机多卡分布式训练源码
09-06
基于pytorch的单机多卡分布式训练源码，已经测试可用，找了很多资料，这个可以完美适用于单机多卡的训练。 注意，是非常完美地适用于单机多卡的训练！！！
mmdetectionv1.0.0-选择几张卡训练一个模型，单机多卡开多个训练任务(还有问题)—修改config-batch图像数目，学习率下降等–训练期间测试开启-训练灰度
12-22
训练灰度 如果你想训练灰度图，在这个版本，你应该： mmdetection/mmdet/datasets/pipelines/loading.py @PIPELINES.register_module class LoadImageFromFile(object): def __init__(self, to_float32=...
2-20horovod多机多卡训练环境配置+训练流程1
08-08
在horovod下使用多机多卡需要满足以下3个先决条件：不同机器可以访问相同的文件：nfs不同机器使用相同的训练环境: Docker不同机器可以ssh交互：ss
Resnet实战：单机多卡DDP方式、混合精度训练
04-15
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，模型使用最经典的resnet50，演示如何实现混合精度训练以及如何使用DDP的方式实现多卡并行训练。 通过本文你和学到： 1、如何使用混合精度训练...
A100单机多卡大模型训练踩坑记录（CUDA环境、多GPU卡住且显存100%）
木尧大兄弟
04-28 7360
大模型A100单机多卡训练踩坑记录
DeepSpeed介绍
墨路~~的博客
04-26 2830
DeepSpeed是一个由微软开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具，如分布式训练管理、内存优化和模型压缩等，以帮助开发者更好地管理和优化大规模深度学习训练任务。此外，deepspeed基于pytorch构建，只需要简单修改即可迁移。DeepSpeed已经在许多大规模深度学习项目中得到了应用，包括语言模型、图像分类、目标检测等等。
DeepSpeed多卡训练问题梳理
u012395477的博客
07-03 6650
DeepSpeed多级多卡问题处理
pytorch中的单机多卡和多机多卡
liguandong
09-22 3770
pytorch 单机多卡的正确打开方式pytorch 使用单机多卡，大体上有两种方式简单方便的 torch.nn.DataParallel(很 low，但是真的很简单很友好)使用 torch.distributed 加速并行训练(推荐，但是不友好)首先讲一下这两种方式分别的优缺点nn.DataParallel优点：就是简单缺点就是：所有的数据要先load到主GPU上，然后再分发给每个GPU去train，注意这时候主GPU的显存占用很大，你想提升batch_size,那你的主GPU就会限制。
在Huggingface Transformers中使用DeepSpeed加速训练
热门推荐
CheatEngine_jaz的博客
05-07 1万+
在Huggingfac🤗Transformers中使用DeepSpeed加速库
PyTorch训练之分布式
whaosoft143ai的博客
10-13 538
最常被提起，容易实现且使用最广泛的，莫过于数据并行(Data Parallelism)技术，其核心思想是将大batch划分为若干小barch分发到不同device并行计算，解决单GPU显存不足的限制。与此同时，当单GPU无法放下整个模型时，我们还需考虑模型并行(Model / Pipeline Parallelism)。如考虑将模型进行纵向切割，不同的Layers放在不同的device上。或是将某些模块进行横向切割，通过矩阵运算进行加速。
超大模型分布式训练DeepSpeed教程
习惯与规则决定命运
09-20 8900
DeepSpeed教程 项目链接 简介 deep speed是微软的新大规模模型分布式训练的工具。专门为训练超大模型而生。号称可以训练10B参数的模型。比目前最好的模型大10倍，训练速度块10倍。兼容pytorch的模型，可以改动最少代码。下图是展示训练bert需要的时间，基本同gpu的数量成线性相关。 安装 下载code(0.3.0) git clone https://github.com/microsoft/DeepSpeed.git 安装python环境 需要注意pytroch cud
Recognize Anything: A Strong Image Tagging Model（RAM模型使用方法）
最新发布
python_plus的博客
06-09 971
详细介绍了RAM模型的使用方法
yolov8多卡训练报错
08-13
对于yolov8多卡训练报错的问题，可以尝试以下解决方法。首先，确保使用的版本是正确的，因为有些版本的参数可能会有所不同。例如，在一些版本中，--save-period可能是--save_period。此外，确保batch-size能够被3整除，否则可能会导致错误。另外，可以尝试使用--nproc_per_node参数来指定使用的卡数，确保与实际使用的卡数一致。如果使用--nproc_per_node参数仍然出现问题，可以尝试使用以下启动命令： python -m torch.distributed.launch --nproc_per_node=3 train.py --weights yolov5m.pt --img 640 --epoch 150 --data jm_fire_16.yaml --batch-size 36 --workers 16 --save-period 20。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [【深度学习 pytorch yolov 单机多卡的训练命令方式和注意事项](https://blog.csdn.net/weixin_40293999/article/details/127782051)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值