MindSpore分布式训练Atlas800-9000裸机单机多卡训练modelzoo模型报错

最新推荐文章于 2024-01-02 09:33:24 发布
最新推荐文章于 2024-01-02 09:33:24 发布
阅读量312 收藏
点赞数
文章标签： 分布式 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/125638844
版权

环境

1、服务器：Atlas800-9000（Arm+Ascend），裸机。

2、驱动和软件包：5.0.3.1商用版本

3、mindspore：1.5.0

【操作步骤&问题现象】

1、配置完环境后从MindSpore官方modelzoo拉取resnet代码。

2、单机单卡训练正常（run_standalone_train.sh）。

3、使用models/hccl_tools.py生成对应的rank_table.json文件。

4、使用0,1卡进行单机多卡训练（2卡训练和8卡训练报错一致，方便起见使用2卡），报错。

5、尝试多台atlas800设备，均存在相同错误。

解答：

可以检查下不同卡的执行时间是否一致，是否一个执行比较慢

小乐快乐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLaMA Factory多卡微调的实战教程
herosunly的博客
04-25 9万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
Atlas 800 AI服务器 技术白皮书 (型号 9000)_风冷版.pdf
05-21
Atlas 800 AI服务器（型号 9000 9000 ）是基于华为鲲鹏 ）是基于华为鲲鹏 ）是基于华为鲲鹏 920+ 920+ 昇腾 910 处理器的 处理器的 AI 训练服务 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 AI 训练服务场景。该器 训练服务场景。该器 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持
【华为Atlas800（型号9000）服务器安装Ubuntu20.04及npu驱动和cann包】
aaaasong的博客
06-17 3407
华为Atlas800(型号9000）服务器安装Ubuntu20.04及环境搭建
Atlas800-9000 开发环境搭建
机器学习-深度学习-图像处理-opencv-段子
06-19 6844
文章目录1 环境部署1.1 系统安装：1.1.1 安装前的检查：1.1.2 安装系统1.1.3 配置网络1.1.4 升级CPLD-iBMC-BIOS-iBMA1.2 环境检查与依赖安装1.2.1 配置root登陆--Ubuntu需要1.2.2 检查用户1.2.3 上传离线包1.2.4 更改apt源1.2.5 安装依赖包1.3 开发环境部署1.3.1 安装python3.7.51.3.2 安装TensorFlow1.4 驱动安装1.4.1 安装run包1.4.2 安装npu-smi 工具：1.4.3 配置de
【MindSpore】【分布式训练】Atlas800-9000裸机单机多卡训练modelzoo模型报错
weixin_45666880的博客
08-21 560
export ASCEND_SLOG_PRINT_TO_STDOUT=1，配置这个环境变量才能看到真实的底层报错。3、使用models/hccl_tools.py生成对应的rank_table.json文件。4、使用0,1卡进行单机多卡训练（2卡训练和8卡训练报错一致，方便起见使用2卡），报错。1、配置完环境后从MindSpore官方modelzoo拉取resnet代码。2、单机单卡训练正常（run_standalone_train.sh）。5、尝试多台atlas800设备，均存在相同错误。
mindspore的model_zoo 中centerface训练失败
weixin_45666880的博客
07-06 226
使用model_zoo中的centerface项目，在GPU上训练时出现错误，请问该怎么解决？项目训练文件： official/cv/centerface/train.py · MindSpore/models - Gitee.com使用的是mindspore1.3.0-gpu 在modelarts开发环境上运行 解答：...
分布式训练 - 单机多卡（DP和DDP）
热门推荐
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
基于pytorch的单机多卡分布式训练源码
09-06
在PyTorch中，单机多卡分布式训练是一种优化深度学习模型训练效率的方法，它能够充分利用多GPU资源，加速模型的收敛过程。本教程将详细解释如何使用PyTorch实现单机多卡分布式训练，主要参考提供的源码文件`pytorch_...
mmdetectionv1.0.0-选择几张卡训练一个模型，单机多卡开多个训练任务(还有问题)—修改config-batch图像数目，学习率下降等–训练期间测试开启-训练灰度
12-22
训练灰度 如果你想训练灰度图，在这个版本，你应该： mmdetection/mmdet/datasets/pipelines/loading.py @PIPELINES.register_module class LoadImageFromFile(object): def __init__(self, to_float32=...
「分布式训练」+ DDP单机多卡并行指南 PPT
最新发布
04-10
分布式训练是现代深度学习领域中的一个重要概念，它允许在多台机器或单台机器的多块GPU上并行地执行模型训练，以提高训练速度和效率。DDP（Data Distributed Parallelism）是PyTorch中实现的一种分布式训练策略，...
Atlas 800 训练服务器 技术白皮书 (型号 9000，液冷).pdf
09-23
Atlas 800 训练服务器 技术白皮书 (型号 9000，液冷).pdf
【mindspore训练】modelzoo-resnet50模型训练后验证
weixin_45666880的博客
10-29 598
指令：bash run_eval.sh resnet50 imagenet2012 /home/yyj/data/Imagenet_val/ /home/yyj/ResNet50_for_MindSpore_1.4_code/train/resnet-50_2502.ckpt。1.昇腾社区链接：https://www.hiascend.com/zh/software/modelzoo/models/detail/C/ea8c34895d1b4697b3f1e940da1e97d2。
MindSpore GPU单机多卡训练方法总结
weixin_43431343的博客
12-12 4118
这里写自定义目录标题1. 配置分布式环境2. 训练脚本需要添加的代码3. 运行脚本 1. 配置分布式环境 OpenMPI-4.0.3：MindSpore采用的多进程通信库。 NCCL-2.7.6：Nvidia集合通信库。 2. 训练脚本需要添加的代码 import mindspore.dataset as ds from mindspore import context from mindspore.communication.management import init, get_rank, get_gr
关于官方提供的mindspore镜像mindspore-modelzoo
weixin_45666880的博客
08-17 496
支持GPU和Ascend，参考MindSpore官网示例代码进行设备选择，该镜像为统一架构，支持x86_64和arm64，拉取时会根据系统架构选择拉取的镜像架构，也可通过参数 --platform=amd64/arm64 来选择拉取指定架构的镜像。镜像地址：https://ascendhub.huawei.com/#/detail/mindspore-modelzoo。1.这个镜像支持GPU吗，还是只支持Ascend?2.这个镜像是同时支持x86和arm平台吗？...
Mindspore模型训练Modelzoo SEResNext50_32*4d GPU初始化错误
weixin_45666880的博客
07-13 391
MindSpore 版本：1.5.0-rc1ubuntu18.04python3.7.5GPU CUDA10.1【操作步骤&问题现象】1、修改batchsize为32和数据及路径后直接运行报错Attr output_num 32must less than28 ，修改group为16后报错Attr output_num 16must less than14，修改group为7才能够正常运行2、上传至modelarts上与自己电脑上运行错误相同，同样group更改为7才能使用
【Atlas 800 训练服务器（型号：9000）商用版驱动固件CANN】昇腾8*Ascend 910 安装驱动、mindspore、torch
懒惰是科技进步的原始动力
01-02 2617
cmi module initialize failed. ret is -8005 Warning: Device do not support double dtype now, dtype cast repalce with float.
【MindSpore】用coco2017训练Model_zoo上的 yolov4，迭代了两千多batch_size之后报错，大佬们帮忙看看。
weixin_45666880的博客
07-30 458
以上代码主要用于调试COCOYoloDataset，正常情况下，yolo_dataset是可以正确完整输出所有数据的，请参照以上调试代码，确保读取coco数据集完整无误。从错误截图中初步分析的结论是，数据集可能不完整或是有错误，导致一定step之后再也无法迭代出数据进行训练了。batch_size4，8，16，32（四种分别尝试过，都在一个epoch训练了80%左右报这个错了）模型Model_zooYOLOv4_Cspdarknet53(配置都是用的默认的)数据集coco2017。......
mindspore官网提供的镜像mindspore-modelzoo使用问题
weixin_45666880的博客
07-06 610
请问一下mindspore-modelzoo1.这个镜像支持GPU吗，还是只支持Ascend ?2.这个镜像是同时支持x86和arm平台吗？镜像地址：https://ascendhub.huawei.com/#/detail/mindspore-modelzoo解答：支持GPU和Ascend，参考MindSpore官网示例代码进行设备选择，该镜像为统一架构，支持x86_64和arm64，拉取时会根据系统架构选择拉取的镜像架构，也可通过参数 --platform=amd64/arm64 来选择拉取指定架构的镜
体验MindSpore：ModelZoo中的CRNN
weixin_45666880的博客
02-15 237
添加并设置run_eval为True来启动shell，还需添加eval_dataset来选择评估数据集。如果希望在训练时进行评估，添加eval_dataset_path来启动shell。当run_eval为True时，可设置参数选项：save_best_ckpt、eval_start_epoch、eval_interval。命令：bash run_infer_310.sh [MINDIR_PATH] [DATA_PATH] [ANN_FILE_PATH] [DATASET] [DEVICE_ID]
分布式训练：DDP单机多卡并行指南
本篇文章主要介绍了分布式训练中的DDP单机多卡并行方式，并对其原理进行了详细的说明。文章首先介绍了分布式训练的概念和Pytorch中两种主要的并行训练方式即DP和DDP的原理。然后，重点讲解了DDP单机多卡并行训练的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值