华为昇腾MindIE+Dify本地私有化部署大模型 经验分享

已于 2025-03-06 15:34:46 修改
阅读量3.8k 收藏 31
点赞数 35
分类专栏： 大模型私有化部署 文章标签： 华为 人工智能 语言模型 linux docker 自然语言处理 github
于 2025-02-14 16:58:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yingjie_Zhang666/article/details/145635681
版权

华为昇腾MindIE+Dify本地私有化部署大模型 经验分享

本教程适用完全无网络的封闭环境部署

本文旨在分享使用华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎）结合Dify（大模型应用开发平台）成功部署通义千问和deepseek等大语言模型，并上线问答助手等应用的经验，同时也是对自己前段时间的工作进行一个总结。

我会分享我在项目过程中踩过的坑，遇到的bug，以及实测解决的方法。目前计划分为6篇文章，系列文章持续更新中。

本篇文章是系列文章的目录，也是我在项目过程中自行搜罗到的实用资源分享，包括了镜像下载链接、模型下载链接，以及华为昇腾官方的模型部署教程。

大模型本地私有化部署系列文章目录

实用资源分享

昇腾镜像仓库：https://www.hiascend.com/developer/ascendhub
昇腾ModelZoo模型库：https://www.hiascend.com/software/modelzoo/models

部署LLM需要推理镜像，名称：mindie，地址：https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f
注意选择适配自己系统架构的版本arm64 / x86_64

部署embedding、rerank模型需要text embedding inference 镜像，名称：mis-tei，地址：https://www.hiascend.com/developer/

最低0.47元/天 解锁文章
Dify基础：Dify平台的本地化部署（含windows部署中，常见问题及解决方案）
xiezhipu的博客
11-11 1万+
第一种比较简单，只需要在浏览器中，打入https://dify.ai/就可以。这个指令虽然看起来简单，但实际上涉及到对docker的使用。这个项目既然有github地址，那它一般就是开源的。我们点开这个github地址，便能看到dify的私有化部署方式。我们可以看到，还是上面那个图，有个按钮，是指向该项目的Github地址的。第二步：按照dify的github给出的指令，对dify进行安装。第一步：我们把dify下载到自己的电脑（或者服务器）上。这里，我们只考虑第二种方式，也就是私有化部署。
昇腾，Ascend，NPU，mindie，镜像，部署vllm：第5篇，昇腾环境下部署蒸馏版deepseek-r1，并在dify中注册模型供应商
xiezhipu的博客
02-11 1631
这两天没少折腾deepseek-r1。之前在A100上用ollama部署了一份DeepSeek-R1-Distill-Qwen-32B，感觉真的特别慢。现在，再用昇腾部署一遍，看看速度能不能更快。p.s. 类似的内容其实已经写了很多遍了。但感觉之前写得都太碎，不够顺畅。接着新模型写篇长文，把能包括的都包括进来。这样大家也不需要到处翻来翻去。
超超超详细分享！！Dify本地化部署流程和使用说明 以及如何接入华为昇腾MindIE本地私有化部署的大模型
Yingjie_Zhang666的博客
03-06 3280
本文是《华为昇腾MindIE+Dify本地私有化部署大模型 经验分享》系列文章的第二篇。图文并茂地超详细分享了本地化部署Dify和使用API接入在线、本地大模型、MindIE本地化部署的大模型的经验。本教程适用于有网络快速部署的环境，以及完全封闭的无网络生产环境。
华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台
深蓝
09-20 1万+
华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台。
昇腾Mindie + mis-tei + dify + DeepSeek-R1-Distill-Qwen-32B-W8A8
zyfengg的博客
03-05 2341
提前准备模型：bge-large-zh-v1.5 、 bge-reranker-large。5、配置dify信息，获取mindie和mis-tei服务可用模型。docker ps 查看后台拉起dify依赖容器。4、后台npu-smi info查看容器运行情况。查看版本 docker-compose -v。2、mis-tei 安装和拉起。3、dify 安装和拉起。1、Mindie 服务。蒸馏模型LLM模型信息。从昇腾镜像中心获取镜像。获取dify源码并进入。配置mindie模型。
【大语言模型_2】mindie部署deepseek模型
没枕头我咋睡觉
02-19 1332
进入容器，修改配置文件。不修改启动模型会报错。
MindIE部署流程
Yingjie_Zhang666的博客
02-21 2388
本篇文章是《华为昇腾MindIE+Dify本地私有化部署大模型 经验分享》系列文章的第一篇，讲述了如何部署华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎），作为大模型本地私有化部署的后端管理平台。下一篇将会分享Dify的部署流程，系列文章持续更新中。
基于昇腾的大模型部署
qq_29925133的博客
06-20 2190
在昇腾的设备商需要安装驱动和对应的固件，具体安装什么版本是与一些库支持，比如打算使用mindformers1.0,那么驱动是23.0.rc3+7.0.0.5.242。如果是要重新安装torch的环境，有的软件需要重新编译后安装，一定要先卸载而不要想覆盖的方式安装python的包。在这里使用mindformers的web-chat，这里面就是纯python了，直接从predict_process.py文件中接到自己的服务中即可。本来是有hccl命令来生成的hccn.conf文件的，如果无法生成可以手动建立。
昇腾大模型推理解决方案MindIE部署
深蓝
09-20 9147
昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家
华为昇腾部署 DeepSeek-R1 (671B) 大模型实战指南
热门推荐
MnivL的博客
02-11 1万+
本文是一份全面的华为昇腾 Atlas 800I A2 服务器集群部署 DeepSeek-R1 671B 大模型的指南。内容涵盖部署前的硬件和软件要求、模型权重处理（包括下载、格式转换）、昇腾镜像配置（获取、启动及测试）、分布式推理配置、服务化部署（环境变量配置、参数修改、拉起服务及接口测试）、高级量化方案（支持类型和量化命令示例），还提供了常见问题排查方法和丰富的资源链接，助力用户完成在华为昇腾平台上的模型部署。
Mindie在华为910B推理大模型
weixin_41549308的博客
08-05 1683
之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型，但是用Mindie RC1.0版本无法兼容openai接口，传递的文本字符数有限，不能超过16000.因此，选用了最新版本的Mindie RC2.0版本，成功推理。步骤和上述链接一致，但是下载镜像的时候用MindieRC2.0.目前利用Mindie启动了大模型服务，fastchat启动了embedding服务，然后再启动langchain-chatchat就成功运行，且推理速度和V100卡差不多。如果大家有部署问题，可以后台私信我~
Dify离线部署方案-以华为昇腾Arm架构服务器为例
Cyan_Shaw的博客
03-11 1760
Arm架构的华为昇腾AI服务器Dify离线部署方案
将mindie上运行的通义千问2.5模型注册为dify平台的模型供应商
xiezhipu的博客
12-05 1682
众所周知，我写的不是技术博客，我写的是连续剧。前面咱们写了一个专栏，专门介绍怎么用mindie，把通义千问2.5的模型推理跑起来。专栏：昇腾NPU部署通义千问2.5后面就是怎么用了。当然最好的，还是和我们的dify平台结合起来。全零监听（All-zeros listening）是指在网络编程中，服务器端设置其网络套接字（socket）绑定到IP地址0.0.0.0或者对于IPv6是的行为。这种配置意味着服务器将接受来自任何可用网络接口的连接请求，而不限定于特定的IP地址。
基于Atlas 800I A2的RAG端到端实践
最新发布
2401_87243659的博客
03-13 1120
本文以Dify为例，介绍了从0开始基于DeepSeek蒸馏模型，构建RAG系统的端到端实践。
Dify+华为昇腾服务器ARM架构部署环境准备
susu_l_hx的博客
01-15 2822
(1) 内网服务器与互联网物理隔离(2) 华为昇腾服务器、麒麟sp2操作系统、aarch64、Linux环境、Docker 26.0.0(3) dify跨架构部署
昇腾910A单卡与多卡部署mindie框架开启qwen2-7B大模型api
qq_38001481的博客
11-21 3142
注意该命令是将npu0-7全部加载到容器中，由于910不支持容器共享（被该容器占用后，就不能被其他容器调用），所以只想加载部分卡时，修改--device=/dev/davincix部分。注：如果启动报错，可以查看/usr/local/Ascend/mindie/1.*/mindie-service/logs下的log文件。性能测试 配置环境及环境变量（好像不export也没什么影响，export有时候还会报错，但是不影响后面的服务）昇腾大模型推理解决方案MindIE部署_mindie安装-CSDN博客。
mindie与mindspore是什么关系？
weixin_45666880的博客
06-28 1933
MindIE（Mind Inference Engine，推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。从字面理解，MindIE 和 MindSpore 都能做推理，区别在哪？MindIE 未开源，MindSpore 已开源，原因是啥？这两个最终会不会统一？
昇腾环境下使用docker部署mindie-service
sqlora的专栏
01-20 511
我主要用MindIE-Service的功能，这个组件对标的是vllm这样的大语言推理框架。上述操作做完，就可以修改mindie-service的配置文件了，这个文件位于/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json。上面-v/root/xxx/mindformer_share/:/home/xxx_share是在映射我的磁盘进容器，需要根据自己的环境做修改。我这里罗列下我关注的字段。maxSeqLen最大长度。
华为昇腾部署dify
01-15
### 华为昇腾AI处理器上的Dify模型或应用部署 #### 硬件与软件准备 为了在华为昇腾AI处理器上成功部署Dify模型或应用程序，需确保硬件配置满足需求。具体来说，应采用环境型号CANN版本加速卡推理环境Atlas800-3010推理服务器搭配两个Atlas300IPro加速卡，并安装CANN8.0.RC2及以上版本的软件栈[^2]。 #### 部署流程概述 针对Dify这类大型语言模型的应用部署，在华为昇腾平台上主要涉及以下几个方面的工作： - **环境搭建** 安装并配置好支持昇腾系列产品的计算架构神经网络(CANN)，这是运行任何深度学习算法的基础。 - **框架适配** 使用兼容于昇腾设备的深度学习框架如MindSpore来加载预训练好的Dify模型权重文件；对于其他不直接支持昇腾的目标转换工具链可能也需要参与其中以便完成特定优化操作。 - **性能调优** 利用AscendCL库提供的API接口实现对模型参数量化处理（例如通过GPTQ、AWQ等方式），从而提高推理效率降低资源消耗的同时保持较高的精度水平[^1]。 - **服务化封装** 将经过上述步骤调整后的模型集成到Web界面或其他形式的服务端程序里去，比如借助Gradio构建易于使用的交互式前端页面让用户能够方便地提交请求获取响应结果。 ```python import mindspore as ms from gradio import Interface, Textbox def load_model(): # 加载已经适应昇腾平台的difuy模型 model = ms.load_checkpoint('path_to_dify_model') return model def predict(text_input): model = load_model() output = model.predict([text_input]) return str(output) iface = Interface(fn=predict, inputs=Textbox(), outputs='text') iface.launch(share=True) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值