MindIE部署流程
本教程适用完全无网络的封闭环境部署
本文是《华为昇腾MindIE+Dify本地私有化部署大模型 经验分享》系列文章的第一篇。分享了部署MindIE调用和管理华为昇腾系列NPU的经验。
注意:本文默认处于封闭的无网络环境下本地私有化部署。
文章目录
1. 使用前提
1.1 硬件
MindlE安装前,需要检查以下硬件配置,下表为MindIE支持的硬件列表:
表1 MindlE支持的硬件列表类型 | 配置参考 |
---|---|
服务器 | Atlas 800I A2 推理产品 |
Atlas 200T A2 Box16 异构子框 | |
推理卡 | Atlas 300I Duo 推理卡+Atlas 800 推理服务器(型号:3000) |
更新时间:2025/2/14
1.2 操作系统
下表为MindIE当前支持的操作系统:
表2 MindlE支持的操作系统硬件 | 操作系统 |
---|---|
Atlas 800I A2 推理产品 | Arm: • Ubuntu 22.04 • CentOS 7.6 • openEuler 22.03 • Kylin V10 GFB • Kylin V10 SP2 • Kylin V10 SP3 |
Atlas 300I Duo 推理卡+Atlas 800 推理服务器(型号:3000) | Arm: • Ubuntu 20.04 • Kylin V10(OpenEuler) SP1 • UOS20-1020e Server |
Atlas 200T A2 Box16 异构子框 | x86: • Ubuntu 20.04.1 • Ubuntu 22.04 |
更新时间:2025/2/14
查询当前操作系统:
uname -m && cat /etc/*release
1.3 其他要求
宿主机上已经安装好固件与驱动,具体可参考:
https://www.hiascend.com/document/detail/zh/mindie/100/envdeployment/instg/mindie_instg_0006.html
宿主机上已经安装好Docker:
https://www.docker.com/