AIGC模型训练推理 SDXL WebUI基于DevServer适配PyTorch NPU推理指导（6.3.902）

本文档主要介绍如何在ModelArts Lite的DevServer环境中部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。

方案概览

本方案介绍了在ModelArts的DevServer上使用昇腾计算资源部署Stable Diffusion WebUI套件用于推理的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买DevServer资源。

本方案目前仅适用于企业客户。

资源规格要求

推理部署推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机单卡。

获取软件

获取插件代码包ascendcloud-aigc-6.3.902-*.tar.gz文件。获取路径：Support网站。

说明：

如果没有软件下载权限，请联系您所在企业的华为方技术支持下载获取。

ascendcloud-aigc-6.3.902-*.tar.gz文件名中的*表示具体的时间戳，以包名的实际时间为准。

Step1 准备环境

1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。说明：

   购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. 检查环境。

   1. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

      npu-smi info

• 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

• 检查docker是否安装。

  docker -v #检查docker是否安装

如尚未安装，运行以下命令安装docker。

yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

• 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

  sysctl -p | grep net.ipv4.ip_forward

如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

sed -i ‘s/net.ipv4.ip_forward=0/net.ipv4.ip_forward=1/g’ /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward

• 获取基础镜像。建议使用官方提供的镜像部署推理服务。

  镜像地址{image_url}为：

  西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_7.0.0-py_3.9-hce_2.0.2312-aarch64-snt9b-20240312154948-219655b

  docker pull {image_url}

• 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。

  docker run -itd
  –name sdwebui
  -v /sys/fs/cgroup:/sys/fs/cgroup:ro
  -p 8183:8183
  -v /etc/localtime:/etc/localtime
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi
  –shm-size 60g
  –device=/dev/davinci_manager
  –device=/dev/hisi_hdc
  –device=/dev/devmm_svm
  –device=/dev/davinci3
  –network=bridge