【Ascend300t产品】【分布式训练功能】Model_zoo上的脚本多卡无法训练，单卡训练出现告警

最新推荐文章于 2024-09-29 16:42:19 发布
最新推荐文章于 2024-09-29 16:42:19 发布
阅读量400 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/125800688
版权
本文探讨了在Taishan2280服务器上使用Euler2.8 OS和Mindspore 1.1.0进行SSD模型训练时遇到的问题，包括run_distribute_train.sh失效、NPU IP冲突以及/etc/hccl.conf空导致的rank文件生成问题。单卡训练时的警告被解释为版本兼容性问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 环境介绍

服务器：Taishan2280

OS：Euler 2.8

Mindspore版本：1.1.0

模型选择：SSD

已安装软件包：

A300t-9000-mcu_2.0.8.hpm

A300t-9000-npu-driver_20.2.0.b070_euleros2.8-aarch64.run

最低0.47元/天 解锁文章
小乐快乐
关注
极智AI | 多场景覆盖 看昇腾新推出的 Atlas300 系列新卡
极智视界
07-29 4098
大家好，我是极智视界，本文介绍一下 昇腾新推出的 Atlas300 系列新卡。
国产运算卡Atlas 300I Pro、Atlas 300V Pro、Atlas 300T pro为何如此火爆？
热门推荐
Jericho2022的博客
01-05 1万+
接着介绍 Atlas 300V Pro，V 就是 video 的缩写，是一张视频解析卡，它与 300I pro 显著的区别就是显存容量大，为48GB，大的显存可以在一定范围内提高系统的运行速度，能够处理的分辨率也越高，所以显存容量大了，其分辨率也越好，能够处理视频的路数也越多，Atlas 300V Pro 就是专门为 大容量、多路数视频解析场景而生的，这种场景在安防领域十分常见。全新一代的 Atlas 是支持 ARM 架构和 X86 架构的，像 Intel，AMD，海光，鲲鹏，飞腾的 CPU 都支持。
服务器t系统维护方案,服务器主机硬件包几年维护
weixin_39802962的博客
08-11 356
服务器主机硬件包几年维护 内容精选换一换已安装Atlas 300T 训练卡(型号 9000)的训练服务器适配的操作系统如表1所示。请参考表2下载驱动和固件包。Atlas 300T 训练卡(型号 9000)软件包名称软件包说明获取方式昇腾芯片驱动安装包Ubuntu 18.04、CentOS 7.6、EulerOS 2.8A300t-9000-npu-driver_{version相比通用计算型，通用...
中国商用显卡有多强
emptyset的博客
09-03 2938
根据官方介绍高性能推理卡融合“通用处理器、AI Core、编解码” 于一体，提供AI推理、视频分析等功能，具有超强算力、超高能效、高性能视频分析等优势，可广泛应用于互联网、智慧城市、智慧交通等多场景，支持检索聚类、内容审核、OCR识别、语音识别、视频分析等多应用。刘庆峰先生（科大讯飞高管）声称，中国商用显卡（运算卡）已经可以对标英伟达最高端商用运算卡A100，这款显卡(运算卡)是Atlas300l Duo，采用海思鲲鹏910。在家用显卡方便，我们比较熟悉的就是英伟达3090显卡，这个显卡拥有超强的算力。
华为Atlas 300 推理加速卡介绍
weixin_43360707的博客
03-10 5814
Atlas 300T 训练卡 技术白皮书 (型号9000) 03.pdf
09-23
Atlas 300T 训练卡（型号 9000）具有多种产品特点，如高性能计算、智能化设计、可靠的散热系统等。这些特点使得该设备在各种应用场景中发挥着重要的作用。 知识点5：Atlas 300T 训练卡安全警示信息 Atlas 300T ...
【Atlas300T训练产品】【bert模型加载功能】推理过程ckpt中部分参数未加载
weixin_45666880的博客
07-03 472
问题描述：参考models: Models of MindSpore - Gitee.com 训练完成。使用bert推理，每次运行pooled_output结果不一致，日志如下load_path = /home/gitee/models/official/nlp/bert/model/bert_base_ascend_v130_zhwiki_official_nlp_bs256_acc91.72_recall95.06_F1score93.36.ckpt[WARNING] ME(76534:2814735
浦项300T_20210106.rar
10-04
【标题】"浦项300T_20210106.rar" 提供的是一个具体的项目实例，这通常意味着它包含了某个软件开发或数据分析项目中的代码、文档或者数据库等内容。"浦项300T"可能是项目代号，暗示了该项目可能与特定的技术指标或...
CTCS3-300T车载设备DMI报警信息说明.pdf
10-14
CTCS3-300T车载设备DMI报警信息说明.pdf
pytorch深度学习单卡训练和多卡训练
qq_35653657的博客
07-26 5062
首先会把所有数据分发到列表上的GPU进行训练，然后再gather到主GPU计算loss。最后在shell后台使用的下面语句运行(暂时我只发现这种方法运行,其他方法还需要寻找)
深度学习中，CPU、GPU、NPU、FPGA如何发挥优势？
molixuebeibi的博客
06-13 9133
随着AI的广泛应用，深度学习已成为当前AI研究和运用的主流方式。面对海量数据的并行运算，AI对于算力的要求不断提升，对硬件的运算速度及功耗提出了更高的要求。 目前，除通用CPU外，作为硬件加速的GPU、NPU、FPGA等一些芯片处理器在深度学习的不同应用中发挥着各自的优势，但孰优孰劣？ 以人脸识别为例，其处理基本流程及对应功能模块所需的算力分布如下： 为什么会有这样的应用区分？ 意义在哪里？ 想...
多机多卡分布式训练(Distributed Data DataParallel, DDP)安装踩坑记录
xyl_507的博客
04-28 5945
最近在做目标跟踪的训练时，需要对backbone做一个在imagenet上的预训练模型。众所周知，140GB+的imagenet数据集上训练网络很是考验算力。刚开始在单机双卡(2080Ti)上试了一下，1个epoch需要6个小时，跑完100 epoch大约100*6/24=25天。瞬间放弃单机多卡，将目光放在了多机多卡训练，特撰文记录这段时间的工作，方便以后查询。 一、准备工作 因为之前配置单机的深度学习环境时，备份了许多安装包，所以后续大多数都是离线安装 安装包目录： cuda_10.2.89
【配置RoCE网卡IP地址和子网掩码、配置网络检测对象IP、配置训练节点】昇腾多卡通信教程，生成RANK_TABLE_FILE文件
懒惰是科技进步的原始动力
01-04 3643
NPU多卡通信配置，hccl报错，Distributed Communication has not been inited
使用昇腾芯片进行多卡训推时使用hccl_tools.py为npu分配ip报错问题解决办法
MN_Guan的博客
07-05 2775
使用hccl_tools.py为npu分配ip报错问题解决办法 python hccl_tools.py --device_num "[0,8)" Command execute failed! Failed to call hccn_tool, try to read /etc/hccn.conf instead Traceback recent call last: device_ip = device_ips[device_id] KeyError: '0'
配置单机8卡的rank_table_8pcs.json的时候，电脑没有hccn.conf文件，如何知道device_id的ip地址？
weixin_45666880的博客
09-08 230
***************************************************解答*****************************************************hccn.conf应该是专属于晟腾计算卡的，你的个人电脑是晟腾计算卡吗？如果不是的话，默认你使用Nvidia GPU，可以考虑参考一下。，Nvidia提供了NCCL通信库，实际上你并不需要配置rank_table_8pcs.json。没有该如何查看device_id的ip地址？
mindformers的hccn.conf问题
最新发布
weixin_45666880的博客
09-29 754
main()然后我打开/etc/hccn.conf 是已经有这些内容了，但是我重新运行hccl_tools.py还是上面的报错，是没有关系嘛。],
torch多卡模型转单卡
RUN
02-06 1634
from collections import OrderedDict state_dict1 = torch.load(self.model1) module_state_dict1 = OrderedDict() for k, v in state_dict1.items(): name = k[7:] module_state_dict1[name] = v self.model = self.model.cuda() self.model.load_state_dict(mod
mxnet model_zoo.get_model, 如何使用本地的parameter?
northeastsqure的专栏
12-12 1414
因为aws上下载模型很不稳定，所以想用下载工具把模型下载下来，然后拷贝到文件夹下面，下面代码解决： net = model_zoo.get_model('mask_rcnn_resnet50_v1b_coco', pretrained=False, pretrained_base=False) ctx = mx.gpu(0) net.load_parameters('./mask_rcnn_r...
S7-300T-CPU技术功能与选型指南：MMC、时钟与运动控制
本选型资料详细介绍了SIMATIC S7-300T-CPU的技术规格和功能特性，这是一款针对工业自动化控制应用的专业技术型CPU。主要关注点包括： 1. MMC卡类型与订货号： - CPU支持的微型存储卡（MMC）类型有MMC4M和MMC8M，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值