Mindie在华为910B推理大模型

最新推荐文章于 2025-04-09 22:59:39 发布

七月花nancy

最新推荐文章于 2025-04-09 22:59:39 发布

阅读量1.6k

点赞数 4

文章标签： python fastapi

本文链接：https://blog.csdn.net/weixin_41549308/article/details/140936009

版权

Mindie在华为910B推理大模型 - 掘金 (juejin.cn)

之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型，但是用Mindie RC1.0版本无法兼容openai接口，传递的文本字符数有限，不能超过16000.因此，选用了最新版本的Mindie RC2.0版本，成功推理。步骤和上述链接一致，但是下载镜像的时候用MindieRC2.0.

---------------------------------------------------------------------------------------------------------------------------------

目前利用Mindie启动了大模型服务，fastchat启动了embedding服务，然后再启动langchain-chatchat就成功运行，且推理速度和V100卡差不多。

如果大家有部署问题，可以后台私信我~

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

七月花nancy

关注关注

4
点赞
踩
1

收藏

觉得还不错? 一键收藏
13
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

昇腾910B国产化大模型适配指南

qq_42751565的博客

06-01

1万+

华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。

华为昇腾MindIE+Dify本地私有化部署大模型 经验分享

Yingjie_Zhang666的博客

02-14

3859

本文旨在分享使用华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎）结合Dify（大模型应用开发平台）成功部署通义千问和deepseek等大语言模型，并上线问答助手等应用的经验，同时也是对自己前段时间的工作进行一个总结。我会分享我在项目过程中踩过的坑，遇到的bug，以及实测解决的方法。目前计划分为6篇文章，系列文章持续更新中。本篇文章是系列文章的目录，也是我在项目过程中自行搜罗到的实用资源分享，包括了镜像下载链接、模型下载链接，以及华为昇腾官方的模型部署教程。

13 条评论您还未登录，请先登录后发表或查看评论

华为MindIE LLM开发指南-大型语言模型优化及其应用详解

03-20

内容概要：文章《MindIE 1.0.RC3 LLM开发指南 01.pdf》是关于华为发布的针对大型语言模型(MindIE)的开发指南。此文档涵盖从安装配置环境、模型量化到实际应用场景的一系列步骤，并深入介绍了各种优化措施和技术创新（例如KV Cache int8量化，离群值处理，多机多卡训练，Mixture of Experts等）。同时，该手册还详尽讲述了Triton Inference Server和vLLM引擎的服务化推理实现流程及配置细节，为用户提供了一站式的大型语言模型开发与部署解决方案。适用人群：本文适用于具备一定编程经验和硬件背景的研究员、工程师，特别是关注高性能计算平台以及对大规模分布式训练感兴趣的深度学习从业者。使用场景及目标：本手册主要用于指导企业内部开发者快速入门并深入理解华为提供的大型语言模型优化技术和高效部署策略；同时也为目标群体提供了一个详细的参考，帮助他们构建和定制自己的AI系统。具体而言，包括但不限于以下方面：如何高效量化LLM、怎样利用多机多卡的优势加快模型运算、实现高效能的线上推理服务。其他说明：由于技术更新较快以及产品升级等因素影响，文中提

昇腾910B部署满血DeepSeek-R1(可推理版)

qq_73797346的博客

02-22

3909

记录本周大模型的部署情况，使用昇腾910B物理机部署DeepSeek-R1满血大模型，可显示推理过程。

DeepSeek推理：910B为何是绝佳之选

2502_90485365的博客

02-20

958

从性能上看，910B有着强大的算力支撑，像推理套餐 - 满血版搭配两台910B型智算平台，能完美适配DeepSeek - V3、V2、R1等应用模型，让推理过程更流畅高效。在不同套餐组合里，无论是蒸馏套餐的各参数模型微调，还是推理套餐的多样应用，910B都能发挥关键作用，满足不同的推理需求。对DeepSeek推理感兴趣的友友们，910B真的值得深入探索哦。在DeepSeek推理领域，910B脱颖而出成为热门选择啦！

LLM训推适配-[昇腾910B]-qwen2.5精度测试+高效推理

10-17

3923

昇腾部署qwen2.5大模型，以及相关适配验证。

昇腾910B+MindIE实现Qwen类模型推理之问题解决

m0_55308155的博客

02-03

694

6、镜像：[MindIE]ascend_24.1.rc3-cann_8.0.rc3.beta1-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.RC3。2、操作：升级transformers。此处指定了版本为：4.45.2，同步会升级tokenizers-0.20.3。

华为910b推理Qwen1.5-72b

weixin_41549308的博客

07-12

3807

910b部署推理大模型

昇腾大模型推理解决方案MindIE部署

深蓝

09-20

9120

昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家

基于华为昇腾910B，实战InternVL2-8B模型推理

OpenGVLab的博客

10-31

2701

在 0.6.0这个版本上开始支持华为昇腾NPU，本文主要讲述了如何使用 LMDeploy 推理框架在华为昇腾 910B 上实现 InternVL2-8B 模型的推理。LMDeploy 目前支持 InternVL1.5 和 InternVL2 系列的多模态模型，因为时间关系我这里只做了 2B 和 8B 模型的推理，其他模型没有做过测试。感兴趣的小伙伴也可以根据文档实现其它模型的推理和适配，我们也期待 LMDeploy推理框架支持更多更好用的多模态大模型。

华为MindIE初体验：Qwen1.5-14B-Chat模型40并发推理实测

强化学习曾小健

08-03

3875

原创 XC272024年07月03日 22:14北京最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。

华为昇腾910B编程实战：大模型推理性能优化全攻略

水务人

03-29

984

华为昇腾910B编程实战：大模型推理性能优化全攻略

大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试

强化学习曾小健

08-03

2205

本文简要介绍了LLM推理过程、LLM推理服务的目标、常见的LLM服务评估指标以及LLM推理优化技术。同时，使用MindIE-Service对不同的大模型的推理延迟和吞吐量进行了测试。参考文档：Reproducible Performance Metrics for LLM inference / 可复现的语言大模型推理性能指标LLM 推理性能工程最佳实践大语言模型推理性能工程优化最佳实践吃果冻不吐果冻皮专注于AI工程化（LLM、MLOps、LLMOps、RAG、Agent）落地。150篇原创内容。

【大语言模型_2】mindie部署deepseek模型

没枕头我咋睡觉

02-19

1325

进入容器，修改配置文件。不修改启动模型会报错。

华为裸金属昇腾Atlas 900A2 P0D(910B)部署Deepseek蒸馏70b LLaMA模型

Lilk5的博客

03-12

1951

注：因为openui需要跟本地的模型通信，本地模型docker网络通信采用的是host模式，openui也要采用此方式，然后做持久化挂载，使用docker-compose up -d启动即可，默认的端口是8080。模型可视化对话用的最多的就是openweb-ui，参考了大部门的教程都是使用python3.11安装的，用3.11会破坏现有的环境，会冲突，所以就使用了docker-compose的方式。下载方式有很多，个人比较推荐git lfs，比较简单一些，最终的目的是把模型下载下来就可以。

在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理

2301_78285120的博客

11-03

4349

异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型和 Reranker 重排序模型等各种类型的模型多模型仓库支持。

国产算力怎么跑大模型？教你在昇腾 910B 上部署 DeepSeek

最新发布

在信息的熵增中，记录结构、重建秩序。技术思想者的笔记，系统构建者的注释。

04-09

1086

本篇文章从工程实战出发，带你完成在 **昇腾 910B 芯片**上部署 DeepSeek 大模型的全流程，包括： - ✅ 从 HuggingFace 格式模型出发，转换为 MindIR 可推理格式 - ✅ 使用 MindSpore 框架加载模型并构建推理循环 - ✅ 封装 FastAPI 接口，实现私有化部署服务化调用 - ✅ 全面调优显存 / 吞吐 / 精度，并规避常见报错与兼容性问题文章内容完整、结构清晰、可直接落地，**真正解决“没有 A100 也能跑”的问题**。

在BigCloud系统使用昇腾910bGPU与MindIE镜像部署DeepSeek模型指南

一起加油吧

04-09

1011

本文介绍如何基于华为BigCloud操作系统，利用昇腾（Ascend）GPU硬件加速能力，通过华为云MindIE（MindSpore Inference Engine）Docker镜像快速部署DeepSeek大语言模型。/usr/local/Ascend/mindie/2.0.T3/mindie-service/2.执行命令，启动服务。覆盖安装或升级请按照“固件->驱动”的顺序。在安装驱动固件前，需要安装前确认操作系统，并检查环境。若系统出现如下关键回显信息，则表示驱动安装成功。参考文档进行接口调用。

mindie推理大语言模型问题及解决方法汇总

yuanlulu的博客

12-23

2177

在升腾910b部署qwen2

01-10

### 华为升腾910B平台部署Qwen-2大模型 #### 硬件与软件准备为了成功在华为升腾910B AI处理器上部署Qwen-2大模型，需确保硬件配置满足需求并安装适当版本的软件包。具体来说： - **硬件**：Ascend 910B 处理器。 - **软件环境**： - 驱动版本：24.1.rc1 - CANN 版本：8.0.T37 - MindIE 及其相关组件版本均为：1.0.T61.B010[^2] #### 安装依赖库首先，在目标机器上设置好Python虚拟环境后，通过pip工具安装必要的Python库文件，特别是`mindspore`以及`transformers`等深度学习框架。 ```bash pip install mindspore transformers ``` #### 下载预训练模型权重访问ModelScope网站获取Qwen-2模型的相关资源链接，并下载对应的参数文件至本地存储位置。 #### 加载模型到内存中编写一段简单的Python脚本来加载已保存下来的checkpoint数据结构体实例化一个完整的神经网络对象。 ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen1.5-72B", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("qwen/Qwen1.5-72B", device_map="auto", torch_dtype=torch.float16).eval() ``` 注意这里使用了`device_map='auto'`来自动分配张量计算任务给可用设备；同时也指定了较低精度的数据类型以节省显存空间消耗[^1]。 #### 推理优化考虑到实际应用场景中的性能考量因素，可以采用如下几种方法来进行加速处理： - 利用INT8整数量化技术减少带宽占用同时保持较高准确性。 #### 测试验证最后一步就是针对特定业务逻辑构建测试集样本集合用于评估整个系统的稳定性和响应速度表现情况。