【新教程】华为昇腾NPU的pytorch环境搭建

1 硬件配置

使用学校的集群,相关配置如下:
CPU:鲲鹏920
NPU:昇腾910B
操作系统:openEuler 22.03

2 安装版本

根据昇腾官方gitee上的信息,Pytoch 2.1.0是长期支持版本,因此选择安装这一版本,从而最大限度避坑。
本教程选择的版本如下:
Python:3.9
Pytorch:2.1.0
选择依据:
1.PNG
2.PNG
参考链接:https://gitee.com/ascend/pytorch

3 安装步骤

1、新建conda环境。

conda create -n pytorch python=3.9

2、在新建好的conda环境中,安装基础的依赖。

pip install attrs cython numpy==1.24.0 decorator sympy cffi pyyaml pathlib2 psutil protobuf==3.20 scipy requests absl-py --user

参考链接:
https://www.hi

### 部署 DeepSeek 至华为升腾 910B #### 准备环境 为了确保 DeepSeek 能够顺利运行于华为升腾 910B 平台上,需先安装必要的依赖库并配置好开发环境。这通常涉及到 CANN (Compute Architecture for Neural Networks) 的设置以及 Python 开发包的准备[^1]。 #### 安装 CANN 及其组件 CANN 是专门为 Atlas 系列产品设计的一套完整的软件栈,它提供了从底层驱动到高层框架的支持。对于想要利用 Ascend NPU 进行推理或训练的应用程序来说,安装最版本的 CANN 是必不可少的第一步。通过官方文档可以获取详细的安装指南和兼容性列表。 #### 获取预编译模型或转换现有模型 如果计划直接使用已经过优化处理过的预训练模型,则可以直接下载对应格式文件;而对于自定义创建的模型,则可能需要借助工具链完成由 TensorFlow 或 PyTorch 到 MindSpore IR 表达形式之间的迁移工作。MindConverter 工具能够帮助简化这一过程。 #### 编写应用程序接口调用代码 一旦完成了上述准备工作之后,就可以着手编写具体的业务逻辑部分了。下面给出了一段简单的 Python 示例代码用于加载已有的 .om 文件并通过 AIPP 接口执行前向传播操作: ```python from mindspore import context, Tensor import numpy as np context.set_context(device_target="Ascend", device_id=0) def load_model_and_predict(input_data_path): graph = Graph() with open('model.om', 'rb') as f: model_content = f.read() session = Session(graph) input_tensor = Tensor(np.fromfile(input_data_path, dtype=np.float32).reshape((1, 3, 224, 224))) output_tensors = session.run([input_tensor]) return output_tensors[0].asnumpy().tolist() ``` 此段脚本展示了如何初始化上下文环境、读取 OM 模型数据流、构建会话对象并向其中传入输入张量以获得预测结果的过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值