MindSpore分布式训练Atlas800-9000裸机单机多卡训练modelzoo模型报错

最新推荐文章于 2024-01-02 09:33:24 发布
最新推荐文章于 2024-01-02 09:33:24 发布
阅读量383 收藏
点赞数
文章标签： 分布式 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/125638844
版权
博客介绍了MindSpore训练的环境，包括服务器、驱动和软件包版本等。操作中单机单卡训练正常，但单机多卡训练报错，多台设备也存在相同问题。解答建议检查不同卡的执行时间是否一致。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境

1、服务器：Atlas800-9000（Arm+Ascend），裸机。

2、驱动和软件包：5.0.3.1商用版本

3、mindspore：1.5.0

【操作步骤&问题现象】

1、配置完环境后从MindSpore官方modelzoo拉取resnet代码。

2、单机单卡训练正常（run_standalone_train.sh）。

3、使用models/hccl_tools.py生成对应的rank_table.json文件。

最低0.47元/天 解锁文章
小乐快乐
关注
Atlas 800 9000训练服务器（910A）本地部署Deepseek蒸馏版
m0_50123707的博客
02-26 862
本文全面且详细地指导如何在910A设备上成功部署并启动Deepseek蒸馏版推理服务。教程适用于所有Deepseek开源的蒸馏版本，操作步骤清晰，帮助用户轻松实现推理服务化，提供最强技术支持与辅助，确保每一步都无缝衔接，助您高效完成部署。
MindSpore GPU单机多卡训练方法总结
weixin_43431343的博客
12-12 4444
这里写自定义目录标题1. 配置分布式环境2. 训练脚本需要添加的代码3. 运行脚本 1. 配置分布式环境 OpenMPI-4.0.3：MindSpore采用的多进程通信库。 NCCL-2.7.6：Nvidia集合通信库。 2. 训练脚本需要添加的代码 import mindspore.dataset as ds from mindspore import context from mindspore.communication.management import init, get_rank, get_gr
Atlas 800 AI服务器 技术白皮书 (型号 9000)_风冷版.pdf
05-21
Atlas 800 AI服务器（型号 9000 9000 ）是基于华为鲲鹏 ）是基于华为鲲鹏 ）是基于华为鲲鹏 920+ 920+ 昇腾 910 处理器的 处理器的 AI 训练服务 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 AI 训练服务场景。该器 训练服务场景。该器 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持
【MindSpore】【分布式训练】Atlas800-9000裸机单机多卡训练modelzoo模型报错
weixin_45666880的博客
08-21 638
export ASCEND_SLOG_PRINT_TO_STDOUT=1，配置这个环境变量才能看到真实的底层报错。3、使用models/hccl_tools.py生成对应的rank_table.json文件。4、使用0,1卡进行单机多卡训练（2卡训练和8卡训练报错一致，方便起见使用2卡），报错。1、配置完环境后从MindSpore官方modelzoo拉取resnet代码。2、单机单卡训练正常（run_standalone_train.sh）。5、尝试多台atlas800设备，均存在相同错误。
【华为Atlas800（型号9000）服务器安装Ubuntu20.04及npu驱动和cann包】
aaaasong的博客
06-17 4087
华为Atlas800(型号9000）服务器安装Ubuntu20.04及环境搭建
Atlas800-9000 开发环境搭建
机器学习-深度学习-图像处理-opencv-段子
06-19 7161
文章目录1 环境部署1.1 系统安装：1.1.1 安装前的检查：1.1.2 安装系统1.1.3 配置网络1.1.4 升级CPLD-iBMC-BIOS-iBMA1.2 环境检查与依赖安装1.2.1 配置root登陆--Ubuntu需要1.2.2 检查用户1.2.3 上传离线包1.2.4 更改apt源1.2.5 安装依赖包1.3 开发环境部署1.3.1 安装python3.7.51.3.2 安装TensorFlow1.4 驱动安装1.4.1 安装run包1.4.2 安装npu-smi 工具：1.4.3 配置de
mindspore的model_zoo 中centerface训练失败
weixin_45666880的博客
07-06 258
使用model_zoo中的centerface项目，在GPU上训练时出现错误，请问该怎么解决？项目训练文件： official/cv/centerface/train.py · MindSpore/models - Gitee.com使用的是mindspore1.3.0-gpu 在modelarts开发环境上运行 解答：...
【mindspore训练】modelzoo-resnet50模型训练后验证
weixin_45666880的博客
10-29 649
指令：bash run_eval.sh resnet50 imagenet2012 /home/yyj/data/Imagenet_val/ /home/yyj/ResNet50_for_MindSpore_1.4_code/train/resnet-50_2502.ckpt。1.昇腾社区链接：https://www.hiascend.com/zh/software/modelzoo/models/detail/C/ea8c34895d1b4697b3f1e940da1e97d2。
关于官方提供的mindspore镜像mindspore-modelzoo
weixin_45666880的博客
08-17 619
支持GPU和Ascend，参考MindSpore官网示例代码进行设备选择，该镜像为统一架构，支持x86_64和arm64，拉取时会根据系统架构选择拉取的镜像架构，也可通过参数 --platform=amd64/arm64 来选择拉取指定架构的镜像。镜像地址：https://ascendhub.huawei.com/#/detail/mindspore-modelzoo。1.这个镜像支持GPU吗，还是只支持Ascend?2.这个镜像是同时支持x86和arm平台吗？...
Mindspore模型训练Modelzoo SEResNext50_32*4d GPU初始化错误
weixin_45666880的博客
07-13 431
MindSpore 版本：1.5.0-rc1ubuntu18.04python3.7.5GPU CUDA10.1【操作步骤&问题现象】1、修改batchsize为32和数据及路径后直接运行报错Attr output_num 32must less than28 ，修改group为16后报错Attr output_num 16must less than14，修改group为7才能够正常运行2、上传至modelarts上与自己电脑上运行错误相同，同样group更改为7才能使用
【Atlas 800 训练服务器（型号：9000）商用版驱动固件CANN】昇腾8*Ascend 910 安装驱动、mindspore、torch
最新发布
懒惰是科技进步的原始动力
01-02 3913
cmi module initialize failed. ret is -8005 Warning: Device do not support double dtype now, dtype cast repalce with float.
Atlas 800 训练服务器 技术白皮书 (型号 9000，液冷).pdf
09-23
Atlas 800 训练服务器 技术白皮书 (型号 9000，液冷).pdf
【MindSpore】用coco2017训练Model_zoo上的 yolov4，迭代了两千多batch_size之后报错，大佬们帮忙看看。
weixin_45666880的博客
07-30 498
以上代码主要用于调试COCOYoloDataset，正常情况下，yolo_dataset是可以正确完整输出所有数据的，请参照以上调试代码，确保读取coco数据集完整无误。从错误截图中初步分析的结论是，数据集可能不完整或是有错误，导致一定step之后再也无法迭代出数据进行训练了。batch_size4，8，16，32（四种分别尝试过，都在一个epoch训练了80%左右报这个错了）模型Model_zooYOLOv4_Cspdarknet53(配置都是用的默认的)数据集coco2017。......
mindspore官网提供的镜像mindspore-modelzoo使用问题
weixin_45666880的博客
07-06 658
请问一下mindspore-modelzoo1.这个镜像支持GPU吗，还是只支持Ascend ?2.这个镜像是同时支持x86和arm平台吗？镜像地址：https://ascendhub.huawei.com/#/detail/mindspore-modelzoo解答：支持GPU和Ascend，参考MindSpore官网示例代码进行设备选择，该镜像为统一架构，支持x86_64和arm64，拉取时会根据系统架构选择拉取的镜像架构，也可通过参数 --platform=amd64/arm64 来选择拉取指定架构的镜
体验MindSpore：ModelZoo中的CRNN
weixin_45666880的博客
02-15 293
添加并设置run_eval为True来启动shell，还需添加eval_dataset来选择评估数据集。如果希望在训练时进行评估，添加eval_dataset_path来启动shell。当run_eval为True时，可设置参数选项：save_best_ckpt、eval_start_epoch、eval_interval。命令：bash run_infer_310.sh [MINDIR_PATH] [DATA_PATH] [ANN_FILE_PATH] [DATASET] [DEVICE_ID]
mindspore-modelzoo里面的faster_rcnn训练结果异常问题
weixin_45666880的博客
08-24 415
请基于 FasterRCNN在完整的coco数据集上训练得到的ckpt进行fine-tune. 不要修改train.py , 使能够加载完整的fasterrcnn的ckpt。模型：fasterrcnn：https://gitee.com/mindspore/models/tree/master/official/cv/faster_rcnn。相同的问题也出现在model zoo里面的maskrcnn，它也是基于fasterrcnn的基础进行开发的。
华为开源自研AI框架昇思MindSpore模型体验：ModelZoo中的CRNN
Yeats_Liao的博客
02-05 2004
华为开源自研AI框架昇思MindSpore模型体验：ModelZoo中的CRNN
跑modelzoo上的inceptionv3训练模型失败(mindspore框架)
skytttttt9394的博客
07-27 135
请关注https//bbs.huaweicloud.com/forum/thread-114798-1-1.html。（可选，上传日志内容或者附件）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值