华为昇腾910b3服务器环境搭建笔记

相关固件、驱动、CANN以及对应的镜像获取地址如下所示：

https://modelers.cn/models/xieyuxiang/mindie_1.0.0_image/tree/main

安装openmind-hub

pip install openmind-hub

获取相关资源包：

from openmind_hub import snapshot_download
snapshot_download(repo_id="xieyuxiang/mindie_1.0.0_image",repo_type="model")

根据上图所示，进入到文件缓存目录

安装相关的驱动以及工具包：

增加软件包的可执行（ * 代表所有的run文件）

chmod +x  *.run

完成驱动安装，软件包默认安装路径为“/usr/local/Ascend”

./Ascend-hdk-910b-npu-driver_24.1.0_linux-aarch64.run --full --install-for-all

安装完毕，如下下图所示：

执⾏如下命令，完成安装固件

./Ascend-hdk-910b-npu-firmware_7.5.0.3.220.run  --full

上述执行完毕后：
通过npu-smi info 查看卡是否成功（图中驱动版本信息仅供参考，以实际为准）如图:

安装toolkit and kernels前的相关准备工作

安装前，建议执行命令pip3 install --upgrade pip进行升级，避免因pip版本过低导致安装失败
安装python3_pip
安装此官方是使用yum install -y python3_pip 指令，但我在安装时使用该指令无法安装，所以采用以下流程安装pip
使用 get-pip.py 脚本来安装 pip
下载 get-pip.py 脚本
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

使用 Python 运行脚本来安装 pip：
python3 get-pip.py

查看时候安装成功：
pip --version
具体如下图所示：

安装相关依赖
pip install --upgrade pip

pip install --upgrade pip --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install attrs numpy decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple

安装toolkit

./Ascend-cann-toolkit_8.0.0_linux-aarch64.run --install

安装成功如下所示：

添加toolkit环境变量

echo "source /usr/local/Ascend/ascend-toolkit/set_env.sh" >> ~/.bashrc
source ~/.bashrc

安装kernel

./Ascend-cann-kernels-910b_8.0.0_linux-aarch64.run --install

安装 Ascend-docker-runtime
Ascend-docker-runtime_6.0.RC3_linux-aarch64.run 下载地址如下：
https://gitee.com/ascend/ascend-docker-runtime/releases

chmod +x Ascend-docker-runtime_6.0.RC3_linux-aarch64.run
./Ascend-docker-runtime_6.0.RC3_linux-aarch64.run  --install

安装Pytorch框架

pip install torch==2.1.0 torch_npu==2.1.0 numpy==1.24.4 -i https://pypi.tuna.tsinghua.edu.cn/simple

检验是否安装成功

python3 -c "import torch;import torch_npu; a = torch.randn(3, 4).npu(); print(a + a);"

检测指定npu

python3 -c "import torch;import torch_npu;torch_npu.npu.set_device('npu:1');a = torch.randn(3, 4).npu(); print(a + a);"

昇腾服务器创建MindIE推理容器

docker load -i mindie1.0.0-ubuntu22.04.tar.gz

查看本地镜像：

docker images

创建容器：

docker run -it --ipc=host --net=host \
--name mindie1_gqr \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \
-v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/vnpu.cfg:/etc/vnpu.cfg \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /home/GOOGOSOFT_AI/huawei:/home/data \
b42967ad8d7b /bin/bash

查看容器：
docker ps -a

下载昇腾模型：

from openmind_hub import snapshot_download
snapshot_download(repo_id="Jinan_AICC/DeepSeek-R1-Distill-Qwen-7B-w8a8", token="your_token", repo_type="model")

#!/bin/bash

# 定义要下载的文件 URL
FILE_URLS=(
    "https://modelers.cn/coderepo/web/v1/file/Sunhuan/PeiXun/main/media/DeepSeek-R1-Distill-Qwen-32B-w8a8.tar.gz"
    "https://modelers.cn/coderepo/web/v1/file/Sunhuan/PeiXun/main/media/mindie910A_image.tar"
    "https://modelers.cn/coderepo/web/v1/file/Sunhuan/PeiXun/main/media/openwebui_image.tar"
)

# 定义保存文件的目录
SAVE_DIR="./downloads"

# 创建保存目录（如果不存在）
mkdir -p "$SAVE_DIR"

# 依次下载文件
for url in "${FILE_URLS[@]}"; do
    # 提取文件名
    filename=$(basename "$url")
    
    # 下载文件
    echo "正在下载: $filename"
    wget -O "$SAVE_DIR/$filename" "$url"
    
    # 检查下载是否成功
    if [ $? -eq 0 ]; then
        echo "下载成功: $filename"
    else
        echo "下载失败: $filename"
    fi
done

echo "所有文件下载完成！"

昇腾显卡训练镜像：
https://modelers.cn/coderepo/web/v1/file/kristen/llama-factory-image-910A/main/media/llama-factory-modified.tar