【MindSpore】【分布式训练】Atlas800-9000裸机单机多卡训练modelzoo模型报错

于 2022-08-21 16:45:16 发布
阅读量510 收藏
点赞数
文章标签： 分布式 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/126421064
版权

环境

1、服务器：Atlas800-9000（Arm+Ascend），裸机。

2、驱动和软件包：5.0.3.1商用版本

3、mindspore：1.5.0

【操作步骤&问题现象】

1、配置完环境后从MindSpore官方modelzoo拉取resnet代码。

2、单机单卡训练正常（run_standalone_train.sh）。

3、使用models/hccl_tools.py生成对应的rank_table.json文件。

4、使用0,1卡进行单机多卡训练（2卡训练和8卡训练报错一致，方便起见使用2卡），报错。

5、尝试多台atlas800设备，均存在相同错误。

export ASCEND_SLOG_PRINT_TO_STDOUT=1，配置这个环境变量才能看到真实的底层报错。

小乐快乐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MindSpore GPU单机多卡训练方法总结
weixin_43431343的博客
12-12 3951
这里写自定义目录标题1. 配置分布式环境2. 训练脚本需要添加的代码3. 运行脚本 1. 配置分布式环境 OpenMPI-4.0.3：MindSpore采用的多进程通信库。 NCCL-2.7.6：Nvidia集合通信库。 2. 训练脚本需要添加的代码 import mindspore.dataset as ds from mindspore import context from mindspore.communication.management import init, get_rank, get_gr
Atlas 800 AI服务器 技术白皮书 (型号 9000)_风冷版.pdf
05-21
Atlas 800 AI服务器（型号 9000 9000 ）是基于华为鲲鹏 ）是基于华为鲲鹏 ）是基于华为鲲鹏 920+ 920+ 昇腾 910 处理器的 处理器的 AI 训练服务 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 器，实现完全自主可控广泛应用于深度学习模型开发和 AI 训练服务场景。该器 训练服务场景。该器 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 面向公有云、互联网运营商政府交通金融高校电力等领域，具计算 密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售密度、高能效比网络带宽易扩展管理等优点，支 持单机和整柜销售持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持风冷和液应用，满足企业机房部署大规模数据中心集群。 持
「分布式训练」+ DDP单机多卡并行指南 PPT
最新发布
04-10
「分布式训练」+ DDP单机多卡并行指南
mindspore在gpu上进行多机分布式训练问题
weixin_45666880的博客
07-13 410
mindspore在gpu上进行多机分布式训练【操作步骤&问题现象】1、如何指定每个节点的 显卡编号？例如pytorch是通过这种方式，os.environ['CUDA_VISIBLE_DEVICES'] = '0,1'，那mindspore 呢2、mpirun进行多机分布式时，mindspore是如何进行多机并行的，能否详细描述一下原理？具体来说，能否说明一下多个节点之间如何进行通信，数据和可执行代码需要放在多个节点的共享文件系统中吗，还是只需要放在主节点，再通过网络传输给其他节点？3、mindspore
【华为Atlas800（型号9000）服务器安装Ubuntu20.04及npu驱动和cann包】
aaaasong的博客
06-17 3143
华为Atlas800(型号9000）服务器安装Ubuntu20.04及环境搭建
MindSpore分布式训练Atlas800-9000裸机单机多卡训练modelzoo模型报错
weixin_45666880的博客
07-06 294
环境1、服务器：Atlas800-9000（Arm+Ascend），裸机。2、驱动和软件包：5.0.3.1商用版本3、mindspore：1.5.0【操作步骤&问题现象】1、配置完环境后从MindSpore官方modelzoo拉取resnet代码。2、单机单卡训练正常（run_standalone_train.sh）。3、使用models/hccl_tools.py生成对应的rank_table.json文件。4、使用0,1卡进行单机多卡训练（2卡训练和8卡训练报错一致，方便起见使用2卡），报错。5、尝试多
Atlas800-9000 开发环境搭建
机器学习-深度学习-图像处理-opencv-段子
06-19 6192
文章目录1 环境部署1.1 系统安装：1.1.1 安装前的检查：1.1.2 安装系统1.1.3 配置网络1.1.4 升级CPLD-iBMC-BIOS-iBMA1.2 环境检查与依赖安装1.2.1 配置root登陆--Ubuntu需要1.2.2 检查用户1.2.3 上传离线包1.2.4 更改apt源1.2.5 安装依赖包1.3 开发环境部署1.3.1 安装python3.7.51.3.2 安装TensorFlow1.4 驱动安装1.4.1 安装run包1.4.2 安装npu-smi 工具：1.4.3 配置de
mindspore框架下进行多卡模型训练问题
weixin_45666880的博客
06-13 902
问题描述：按照示例教程提供的脚本[./script/run_distribute_train.sh]，进行多卡单模型训练时，出现了以下报错：请问有人遇到过这种错误吗？能否分享一下解决方法？谢谢！[CRITICAL] DISTRIBUTED(21714,7fa32ebc0740,python):2022-03-09-08:30:23.606.377 [mindspore/ccsrc/distributed/cluster/cluster_context.cc:164] InitNodeRole] Role n
基于pytorch的单机多卡分布式训练源码
09-06
基于pytorch的单机多卡分布式训练源码，已经测试可用，找了很多资料，这个可以完美适用于单机多卡的训练。 注意，是非常完美地适用于单机多卡的训练！！！
「分布式训练」+ DDP单机多卡并行指南
07-20
本课件包含对分布式训练及Pytorch两种主要的并行训练方式DP以及DDP的原理介绍， 以及使用 DDP 实现单机多卡并行方式的代码修改要点总结。
Atlas 800 训练服务器 技术白皮书 (型号 9000，液冷).pdf
09-23
Atlas 800 训练服务器 技术白皮书 (型号 9000，液冷).pdf
Atlas 800 训练服务器 技术白皮书 (型号9010).pdf
09-23
Atlas 800 训练服务器 技术白皮书 (型号9010).pdf
mmdetectionv1.0.0-选择几张卡训练一个模型，单机多卡开多个训练任务(还有问题)—修改config-batch图像数目，学习率下降等–训练期间测试开启-训练灰度
12-22
训练灰度 如果你想训练灰度图，在这个版本，你应该： mmdetection/mmdet/datasets/pipelines/loading.py @PIPELINES.register_module class LoadImageFromFile(object): def __init__(self, to_float32=...
深度学习模型训练--以pytorch为例.pptx
06-24
深度学习模型训练部分,包括各项超参数如优化器、学习率迭代次数等介绍,单机多卡及多机多卡训练以及训练可视化，也包括代码示例
【经验分享】mindspore模型开发&modelarts；多卡训练经验分享
skytttttt9394的博客
07-28 989
转载地址：https://bbs.huaweicloud.com/forum/thread-123614-1-1.html 作者：陈霸霸 开发一个模型的训练部分大致分为数据处理，网络，损失函数，训练。由于我们主要是实现的从pytorch到mindspore的复现，所以两者相同的部分就不再详细介绍。 1.数据处理： 在图像领域常用的数据集可以直接调用mindspore.dateset接口实现，非常方便。大家可以在mindspore官网的编程指南查到。其他的一些数据集我们可以制作成Min...
MindSpore:npu 多卡训练自定义数据集如何给不同npu传递不同数据
weixin_45666880的博客
07-30 505
使用GeneratorDataset的时候，可以使用num_shards=num_shards,shard_id=device_id参数来控制不同卡读取哪个分片的数据，__getitem__和__len__按全量数据集处理即可。是在ds.GeneratorDataset传递num_shards=num_shards,shard_id=device_id还是自定义数据集__getitem__里面用rankid取不同数据?...
mindspore-NPU单卡可以执行，多卡会报错
weixin_45666880的博客
08-17 579
建立 hccl 的 json 文件的问题，我在 8p 的机器上只希望使用 4 张卡，在构建 json 文件时就要指出，不能构建 8 卡的 json 文件，但是使用四张卡。单卡可以正常执行训练和推断，多卡训练会报错，hccl 的 json 文件和多卡的脚本都按照官方文档构建的。...
【keras】models.load_model() 报错问题 Unknown entry in loss dictionary:
weixin_39982211的博客
06-13 4479
在试用tf2.0.keras建立的一个简单的神经网络时，发现模型保存之后重新加载会出问题 代码如下： # 创建模型 inputs = tf.keras.Input(shape= (17,),name= 'inputs') hidden_1 = layers.Dense(48,activation='linear',name= 'hidden_1')(inputs) dropout_1 = l...
mindspore，resnet双卡训练报错
weixin_45666880的博客
06-22 186
问题描述：飞腾+300T训练卡，麒麟V10 SP1操作系统mindspore1.6模型：resnet50问题现象：单卡训练没问题，双卡训练报错 解答：这种错误的原因是该卡在最大等待时长内，没有收到其他卡的同步消息。 而没有收到其他卡的同步消息，有很多种可能： 其他卡停了； 其他卡还在执行编译，且编译时间略长，超出了该卡的最大等待时长； 对于第一种情况，需要检查是否存在某张卡有问题无法正常使用的情况，可能是硬件问题，也可能是软件问题，可以通过查看每张卡的plog得知进一步的信息。...
单机多卡训练和单机多卡分布式训练的区别
06-02
单机多卡训练和单机多卡分布式训练都是在单台机器上使用多个GPU进行训练，但它们之间有一些区别。 单机多卡训练是指在单台机器上使用多个GPU进行训练，每个GPU都拥有一份完整的模型，但是输入数据被切分成多份，每...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值