昇腾910B国产化大模型适配指南

昇腾910B国产化大模型适配指南

---

---

第一章：昇腾910B适配PyTorch环境的虚拟环境安装

一、版本要求

PyTorch版本要求：2.1.0版本，能够原生适配NPU环境
PyTorch-NPU版本要求：2.1.0版本，能够与PyTorch版本兼容
Python版本要求：Python3.8.3版本
910B服务器OS要求：aarch64-linux
910B服务器CANN要求：7.0.RC1.2
服务器环境查询方式：

查看环境变量：printenv
cd /usr/local/Ascend/ascend-toolkit/latest 查看服务器环境，可以发现是aarch64-linux
cat toolkit/version.info 查看CANN版本，可以发现版本为7.0.RC1.2，支持pytorch2.1.0

二、虚拟环境安装

1. 在服务器上安装虚拟环境：

python -m venv npu_test（npu_test是虚拟环境的名字）

2. 安装NPU依赖的环境：
安装方式请参考：Ascend Extension for PyTorch
参考地址：https://gitee.com/ascend/pytorch
安装pytorch以及pytorch-npu：

pip3 install torch==2.1.0 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install torch-npu==2.1.0 -i https://mirrors.aliyun.com/pypi/simple/

3.初始化CANN环境变量（服务器已经安装固件和驱动，以及CANN环境）

source /usr/local/Ascend/ascend-toolkit/set_env.sh

4.Python环境检查torch_npu是否可用，进入python3，输入以下代码：

import torch
import torch_npu

x = torch.randn(2, 2).npu()
y = torch.randn(2, 2)