Atlas 800I A2 双机直连部署DeepSeek-R1-w8a8

已于 2025-04-22 09:45:53 修改
阅读量795 收藏 3
点赞数 8
文章标签： 人工智能
于 2025-03-24 21:37:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50105717/article/details/146485933
版权

一、环境信息

1.1、硬件信息

Atlas 800I A2 * 2

1.2、环境信息

操作系统：openEuler 22.03 LTS
NPU驱动：Ascend-hdk-910b-npu-driver 24.1.0 linux-aarch64.run
NPU固件：Ascend-hdk-910b-npu-firware 7.5.0.3.220.run
MindIE镜像：2.0.T3-800I-A2-py311-openeuler24.03-lts

1.3、组网信息

  • 一台服务器的NPU-0口对应另一个服务器的NPU-0，然后剩下的依次使用光纤连接；
  • NPU侧IP最好在同一个网段里。

二、安装驱动固件

2.1、创建运行用户和所属组

groupadd HwHiAiUser
useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash

2.2、安装驱动（根据提示选择是否重启）

./Ascend-hdk-910b-npu-driver_24.1.0_linux-aarch64.run --full --install-for-all

2.3、安装固件（根据提示选择是否重启）

./Ascend-hdk-910b-npu-firmware_7.5.0.3.220.run --full

三、配置参数面（NPU）网络

3.1、配置IP和掩码

# 配置master节点上NPU的IP和掩码
hccn_tool -i 0 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 1 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 2 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 3 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 4 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 5 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 6 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 7 -ip -s address 修改成自己规划的IP netmask 255.255.255.0

# 配置node节点上的NPU的IP和掩码
hccn_tool -i 0 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 1 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 2 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 3 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 4 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 5 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 6 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 7 -ip -s address 修改成自己规划的IP netmask 255.255.255.0

3.2、配置检测IP

检测IP配置成对端NPU口的IP，比如说机器1的IP是： 192.168.10.11，机器2的IP是：192.168.10.19。那机器1的检测IP就是：192.168.10.19，机器2的检测IP就是：192.168.10.11。

# 配置master节点上NPU的侦测IP
hccn_tool -i 0 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 1 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 2 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 3 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 4 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 5 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 6 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 7 -netdetect -s address 修改成自己规划的IP

# 配置master节点上NPU的侦测IP
hccn_tool -i 0 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 1 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 2 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 3 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 4 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 5 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 6 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 7 -netdetect -s address 修改成自己规划的IP

3.3、关闭TLS

for i in {0..7}; do hccn_tool -i $i -tls -s enable 0 ; done

3.4、检测配置是否正确

1.1、检查物理链接
for i in {0..7}; do hccn_tool -i $i -lldp -g | grep Ifname; done 

1.2、检查链接情况
for i in {0..7}; do hccn_tool -i $i -link -g ; done

1.3、检查网络健康情况
for i in {0..7}; do hccn_tool -i $i -net_health -g ; done

1.4、查看侦测ip的配置是否正确
for i in {0..7}; do hccn_tool -i $i -netdetect -g ; done

1.5、获取每张卡的ip地址
for i in {0..7};do hccn_tool -i $i -ip -g; done

1.6、检测NPU底层TLS行为一致性，每台机器需要是一样的值，建议全0
for i in {0..7}; do hccn_tool -i $i -tls -g ; done | grep switch

1.7、NPU底层tls校验行为置0操作 
for i in {0..7};do hccn_tool -i $i -tls -s enable 0;done

1.8、检测机器间NPU互联情况
hccn_tool -i NPU节点 -ping -g address 另一台机器NPU的IP

四、编辑rank_table_file.json文件

{
   "server_count": "2",
   "server_list": [
      {
         "device": [
            {
               "device_id": "0",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "0"
            },
            {
               "device_id": "1",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "1"
            },
			   {
               "device_id": "2",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "2"
            },
			   {
               "device_id": "3",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "3"
            },
			   {
               "device_id": "4",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "4"
            },
			   {
               "device_id": "5",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "5"
            },
			   {
               "device_id": "6",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "6"
            },
			   {
               "device_id": "7",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "7"
            }
         ],
         "server_id": "master-业务IP",
         "container_ip": "master-业务IP"
      },
      {
         "device": [
            {
               "device_id": "0",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "8"
            },
            {
               "device_id": "1",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "9"
            },
			   {
               "device_id": "2",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "10"
            },
			   {
               "device_id": "3",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "11"
            },
			   {
               "device_id": "4",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "12"
            },
			   {
               "device_id": "5",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "13"
            },
			{
               "device_id": "6",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "14"
            },
			   {
               "device_id": "7",
               "device_ip": "参数面IP-修改成自己规划的IP",
               "rank_id": "15"
            }
         ],
         "server_id": "node-业务IP",
         "container_ip": "node-业务IP"
      }
   ],
   "status": "completed",
   "version": "1.0"
}

五、启动容器

docker run -itd --privileged  --name=容器名称 --net=host \
   --shm-size 500g \
   --device=/dev/davinci0 \
   --device=/dev/davinci1 \
   --device=/dev/davinci2 \
   --device=/dev/davinci3 \
   --device=/dev/davinci4 \
   --device=/dev/davinci5 \
   --device=/dev/davinci6 \
   --device=/dev/davinci7 \
   --device=/dev/davinci_manager \
   --device=/dev/hisi_hdc \
   --device=/dev/devmm_svm \
   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
   -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
   -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
   -v /usr/local/sbin:/usr/local/sbin \
   -v /etc/hccn.conf:/etc/hccn.conf \
   -v 物理机权重路径：容器权重路径 \
   容器镜像名称或ID \
   bash

六、设置容器环境变量

vim ~/.bashrc

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
source /usr/local/Ascend/atb-models/set_env.sh
source /usr/local/Ascend/mindie/set_env.sh

# 服务化多机配套变量
export MIES_CONTAINER_IP=容器IP
export RANKTABLEFILE=rank_table_file.json文件路径

# 日志打印（默认Error级别）
export MINDIE_LOG_TO_STDOUT=1

# 虚拟内存
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

# ATB WorkSpace 使能
export ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE=3
export ATB_WORKSPACE_MEM_ALLOC_GLOBAL=1 

# 单线程加速权重加载
export OMP_NUM_THREADS=1

# 设置显存占比
export NPU_MEMORY_FRACTION=0.96

# 设置精度饱和模式，防止fp16引起的上下溢出
export INF_NAN_MODE_ENABLE=0

# 关闭确定性计算
export HCCL_DETERMINISTIC=false

# 使能AIV，暂时还有问题性问题，不建议线上业务使用，性能复现必须开启
export HCCL_OP_EXPANSION_MODE="AIV"

# 使能内存复用
export ATB_LAYER_INTERNAL_TENSOR_REUSE=1
export ATB_OPERATION_EXECUTE_ASYNC=1
export ATB_CONVERT_NCHW_TO_ND=1
export ATB_WORKSPACE_MEM_ALLOC_GLOBAL=1
export ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE=3
export ATB_CONTEXT_WORKSPACE_SIZE=0
export ATB_LAUNCH_KERNEL_WITH_TILING=1
export ATB_LLM_ENABLE_AUTO_TRANSPOSE=0

# CPU亲和性调度
export CPU_AFFINITY_CONF=1
export TASK_QUEUE_ENABLE=1
unset ASCEND_LAUNCH_BLOCKING

七、拉起服务

# 修改MindIE配置文件
cd /usr/local/Ascend/mindie/latest/mindie-service/
vim conf/config.json

# 修改如下配置：
"ipAddress" : "改成主节点IP"
 "managementIpAddress" : "改成主节点IP"
"httpsEnabled" : false
"multiNodesInferEnabled" : true
"interCommTLSEnabled" : false
"interNodeTLSEnabled" : false
"npudeviceIds" : [[0,1,2,3,4,5,6,7]]
"modelName" : "模型名称"
"modelWeightPath" : "权重路径"
"worldSize":8

# 配置文件权限
chmod 640 {rank_table_file.json路径}
chmod 750 {/path-to-weights/config.json}

# 拉起服务
nohup ./bin/mindieservice_daemon > output.log 2>&1 &

# 停止服务
ps -ef | grep mindieservice
pkill -9 mindieservice

八、测试

curl http://IP:1025/v1/chat/completions -d '{
    "model": "改为mindie配置文件中设置的名称",
    "messages": [{"role": "user", "content": "请告诉我关于人工智能的一些信息。"}],
    "stream": true
  }'
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

于齐龙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值