华为昇腾AI处理器，atc模型转换和推理过程，华为的CANN库对标的是NVIDIA的cuda，所以在华为昇腾AI处理器上安装了CANN后，就可以直接使用pytorch了，以及推理框架(参考学习)

已于 2024-05-24 09:35:25 修改
阅读量900 收藏 5
点赞数
分类专栏： pytorch深度学习一看就懂系列和自动驾驶相关 文章标签： 嵌入式硬件 学习 stm32 python 数据库
于 2024-05-23 11:27:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pvmsmfchcs/article/details/139142815
版权

1，模型转换atc模型转换

在这里插入图片描述
模型转换如图
参考链接如下：
https://toscode.mulanos.cn/ascend/samples/tree/master/inference/modelInference/sampleResnetQuickStart/cpp

2，推理运行，这里需要注意用到了infer，有点类似的pytorch对模型的加载使用

在这里插入图片描述

model = InferSession(0, model_path)
参考链接1:

了解本专栏 订阅专栏 解锁全文
华为晟腾AI芯片的控制器环境安装CANN，以及ATC模型转换工具--onnx模型转华为的om模型（模型转换）
pvmsmfchcs的博客
05-23 673
参考链接：https://x1r16g0t68h.feishu.cn/docx/I2zjdbD57oMU3dx3YWYcO7ICn5d。
华为昇腾310 ATC模型转换、CPP推理案例使用
weixin_42357472的博客
05-30 498
运行结果在上一层级out目录下。
华为昇腾芯片学习记录
Together_CZ的博客
03-25 834
华为昇腾芯片学习记录
在 Ascend 昇腾310P3推理卡上，使用ATC（Ascend Tensor Compiler）工具进行模型转换
qq_28138179的博客
04-14 496
在Ascend昇腾310P3推理卡上使用ATC（Ascend Tensor Compiler）工具进行模型转换
【2023 · CANN训练营第一季】- 应用开发深入讲解 第一节 学习笔记
weixin_55250043的博客
05-17 170
模型：pytorch框架的ResNet-50开源模型输入数据：RGB格式、224*224分辨率的输入图片。输出数据：图片的类别标签及其对应置信度。归一化：需要进行减均值（[0.485,0.456,0.406]）及乘系数（[0.229,0.224,0.225]）操作。
华为Atlas开发环境（ATC环境）搭建
qq_36947168的博客
05-08 2486
此博文主要用于指导在非昇腾AI设备上安装开发环境，用于代码开发及ATC模型转换等功能。
昇腾ACL应用开发之模型转换ATC
qq_52859223的博客
02-21 3271
对于大家没有足够的Ascend硬件资源，手里只有一块开发板，而且内存不足的时候，CANN-TOOLKIT也支持在非昇腾的设备上进行安装，就比如我们在windows上安装linux-ubuntu的虚拟机，虚拟机里面进行安装该软件，但是在安装的过程中大家会遇到一个问题，就是在非root用户下进行安装，在安装的时候没有加必要的参数，所以建议大家也可以所有操作都在root用户下操作，包括模型转换以及安装过程、模型文件的所属用户都是root用户。--output_type根据onnx模型的输出进行配置；
atc工具转换模型权重文件
m0_68878542的博客
02-28 780
/ model即你的.onnx文件，framework即onnx选项，output为输出的.om文件路径，soc_version为你的卡版本，比如我这里就是Ascend310P3。// 由于本人使用的是pytorch训练得到的.pth或者.pth.tar文件，需要先进行.pth向.onnx文件的转换。// 之后就可以传输到服务器上进行atc转换，用resnet50的模型进行测试。// 想要使用华为的推理卡进行推理，就需要有.om的权重文件。// 以下为python的转换代码。// 输出.onnx文件。
华为昇腾310 ATC模型转换工具安装
weixin_42357472的博客
05-29 686
参考： https://bbs.huaweicloud.com/blogs/393282?utm_source=zhihu&utm_medium=bbs-ex&utm_campaign=other&utm_content=content https://www.hiascend.com/document/detail/zh/canncommercial/601/inferapplicationdev/atctool/atctool_0004.html首先需要安装： cann驱动安装 Cann安装： http
华为海思系列----昇腾张量编译器（ATC）模型转换工具----入门级使用指南（LINUX版）
最新发布
m0_46303486的博客
05-13 824
ATC 是海思芯片的模型转换工具，用于将开源框架网络模型（caffe，onnx，tensorflow）转化为 .om 格式并使用 AscendCL进行推理（因为笔者比较熟悉瑞芯微系列，分别类似于类似瑞芯微系列的RKNNToolkit工具， .rknn 模型，RKNNToolkitLite板端推理工具）。
【CANN训练营进阶智囊团】- 基于PyTorch模型迁移
weixin_45510013的博客
05-15 1348
华为 CANN PyTorch模型迁移
华为CANN要替代英伟达CUDA，比鸿蒙替代安卓还难么？
数据猿
06-14 1679
大数据产业创新服务媒体——聚焦数据· 改变商业在数字时代，石油曾是工业的血液，驱动着世界的运转。然而，随着人工智能的兴起，一种新的能源正在悄然崛起，它就是算力——AI时代的新石油。这不再是关于地下的挖掘，而是关于数据的开采和智能的提炼。在这个新纪元，算力成为了衡量一个企业、一个国家乃至一个文明进步的关键指标。每一个算力时代，都有两大核心，一个是计算芯片，另一个是操作系统。在CPU时代，就是大名鼎...
【Atlas200】华为适配ATC模型转换工具
种一棵树最好的时间是十年前，其次是现在
05-18 2170
ATC模型转换工具具有高效、快速、准确的特点，可以帮助用户将深度学习模型快速部署到华为AI芯片上，从而实现高效的推理和计算。要解决该问题，需要在运行ATC工具时指定正确的–soc_version参数。其中，“–input_shape ”中的“-1”表示设置动态BatchSize，具体支持哪些BatchSize由“–dynamic_batch_size”决定。其中，“–input_shape ”中的“-1,-1”表示设置动态分辨率，具体支持哪些分辨率由“–dynamic_image_size ”决定。
华为AI战略的CANN
小白菜的博客
08-15 9240
—异构计算架构（CANN）是对标英伟达的CUDA + CuDNN的核心软件层，向上支持多种AI框架，向下服务AI处理器，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台主要包括有各种等。之所以叫异构软件，是因为承载计算的底层硬件包括和，自然就需要有一层软件来负责，最后自动分配到对应的硬件上（CPU或NPU，注：昇腾处理器一般也叫NPU），因此叫异构。
昇腾的CANN是什么？跟英伟达CUDA的有什么联系和区别？【浅谈版】
mizhiakk的博客
05-03 1275
昇腾的CANN是什么？跟英伟达CUDA的有什么联系和区别？【浅谈版】
解决方案：昇腾aarch64服务器安装CUDA+GCC+CMake，编译安装Pytorch，华为昇腾HPC服务器深度学习环境安装全流程
白洞，白色的明天在等着我们
06-08 4089
最近拿到一台昇腾aarch64服务器，但是与平常配置环境不同，服务器存在三大难题： > 1. 由于安全控制，服务器本身不能访问外网； > 2. 服务器本身为ARM架构（aarch64） > 3. 没有管理员权限 本文总结了一套在昇腾aarch64服务器编译安装支持GPU的Pytorch的解决方案，记录在此。编译安装Pytorch需要极高的耐心和较强的动手能力，在动手之前，你还需要具备以下条件。
Ubuntu22.04安装教程&基于华为Ascend AI处理器的om模型atc转换环境安装
m0_61062162的博客
09-04 2111
首次使用华为的Atlas500的智能小站，从零开始摸索到成功部署一个项目到小站上。
华为CANN介绍及与英伟达 CUDA区别
顺其自然~专栏
03-17 542
CANN和CUDA之间的主要区别在于它们针对的硬件、生态系统成熟度、跨平台能力和开发者资源。随着华为对CANN的持续投入和昇腾处理器的市场渗透，CANN的影响力和市场份额有望进一步扩大。然而，CUDA由于其历史和广泛的应用，仍然在高性能计算和AI领域占据主导地位。华为CANN介绍及与英伟达 CUDA区别 - 53AI-AI生产力的卓越领导者（大模型知识库|大模型训练|智能体开发）
一文搞懂深度学习所有工具——Anaconda、CUDA、cuDNN
热门推荐
富贵的博客
03-24 2万+
一文搞懂深度学习所有工具——Anaconda、CUDA、cuDNN一、解释二、Anaconda三、conda和pip的区别四、Pytorch五、IDE（ Integrated Development Environment）集成开发环境1. jupyter notebook 和spyder2. PyCharm3. 其他六、下载安装 一、解释 Python是编程语言 Anaconda是包含了Python和其他深度学习中可能会用到的包 PyCharm是一个来编辑Python代码的工具 PyTorch是一个用
华为升腾部署yolov5
03-13
<think>好的，我现在需要在华为升腾平台上部署YOLOv5模型。首先，我需要了解整个流程是怎样的。根据用户提供的引用内容，特别是引用[2]中提到，华为的CANN库对标的是NVIDIA的CUDA，所以安装CANN后可以使用PyTorch，但需要将模型转换为华为的OM模型。这可能涉及到模型转换工具ATC的使用。 接下来，引用[3]中的例子提到了在OrangePi AIPro上进行YOLOv5的部署，使用了预训练的pt文件，然后通过predict.py运行检测。这说明部署过程可能包括将PyTorch模型转换为昇腾支持的格式，然后使用特定的推理脚本。 首先，我需要确认环境准备。根据引用[2]，昇腾处理器需要安装CANN套件，并且支持PyTorch框架。因此，第一步应该是安装CANN和相关依赖。然后，需要获取YOLOv5的源码，并确保其适配昇腾平台，可能需要修改部分代码或使用昇腾提供的库。 接下来是模型转换。用户提到的atc工具，这是将模型转换为OM格式的关键步骤。YOLOv5的PyTorch模型（.pt）需要先导出为ONNX格式，然后再通过ATC转换为OM模型。这里需要注意是否有特定的操作符或层需要调整，以适应昇腾的硬件。 然后，部署和推理阶段。引用[3]中的示例使用predict.py脚本，但昇腾平台上可能需要使用不同的推理接口，比如使用昇腾的ACL（Ascend Computing Language）或者PyTorch的昇腾后端。需要查看昇腾的文档，确定如何加载OM模型并进行推理。 此外，性能优化也是一个考虑点。昇腾平台可能有特定的优化建议，比如模型量化、图优化等，这些在引用[1]中提到的YOLOv5 Ascend项目可能有相关实现。需要参考项目仓库的说明，应用这些优化方法。 可能遇到的问题包括模型转换失败，某些层不支持，或者推理时性能不佳。需要查阅昇腾的文档和社区，寻找解决方案，或者调整模型结构。例如，在模型转换时，可能需要添加特定的配置参数，或者修改模型的某些部分以适应ATC工具的要求。 总结步骤大致为：环境准备→模型转换→部署推理→性能优化。需要逐步检查每个环节，确保符合昇腾平台的要求，并参考提供的引用中的具体操作，如使用ATC工具转换模型，运行预测脚本等。</think>在华为昇腾AI处理器上部署YOLOv5模型的流程可分为以下步骤： --- ### **一、环境准备** 1. **安装CANN套件** 华为昇腾平台需安装异构计算架构CANN（Compute Architecture for Neural Networks），提供昇腾处理器的驱动和AI框架支持。安装完成后，PyTorch等框架可直接调用昇腾硬件资源[^2]。 2. **配置Python环境** 建议使用昇腾官方推荐的Python版本（如Python 3.7+），并安装依赖库： ```bash pip install torch numpy opencv-python ``` --- ### **二、模型转换** 1. **导出YOLOv5模型为ONNX格式** 使用YOLOv5官方脚本将预训练模型（`.pt`文件）导出为ONNX格式： ```bash python export.py --weights yolov5s.pt --include onnx --opset 12 ``` 2. **使用ATC工具转换为OM模型** 昇腾的`atc`工具用于将ONNX模型转换为昇腾专用的离线模型（`.om`文件）： ```bash atc --model=yolov5s.onnx --framework=5 --output=yolov5s_om --input_format=NCHW --soc_version=Ascend310 ``` *注意：需根据具体昇腾芯片型号（如Ascend 310/910）调整`soc_version`参数。* --- ### **三、部署与推理** 1. **加载OM模型并执行推理** 使用昇腾提供的ACL（Ascend Computing Language）接口或PyTorch昇腾后端进行推理。示例代码片段： ```python import torch from ais_bench.infer.interface import InferSession # 初始化昇腾推理会话 session = InferSession(device_id=0, model_path="yolov5s_om.om") # 预处理输入数据 input_data = preprocess(image) # 执行推理 outputs = session.infer([input_data]) # 后处理输出结果 detections = postprocess(outputs) ``` 2. **运行目标检测脚本** 参考引用[3]中的方法，使用昇腾优化的预测脚本： ```bash python segment/predict.py --weights ~/yolov5s_om.om --data huawei.jpg ``` --- ### **四、性能优化建议** - **启用混合精度**：在模型转换时添加`--precision_mode allow_fp32_to_fp16`以启用FP16加速。 - **使用AOE调优工具**：通过自动优化引擎（AOE）对OM模型进行性能调优。 - **多线程推理**：利用昇腾处理器的多核并行能力提升吞吐量[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鼾声鼾语

感谢您的支持鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值