大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试

最新推荐文章于 2025-02-17 19:23:41 发布
最新推荐文章于 2025-02-17 19:23:41 发布
阅读量2.1k 收藏 19
点赞数 28
文章标签： 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/140895778
版权

大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试

原创 吃果冻不吐果冻皮 吃果冻不吐果冻皮 2024年06月21日 12:38 四川

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前也分享过一些国产 AI 芯片、使用国产 AI 框架 Mindformers 基于昇腾910训练大模型，使用 MindIE 进行大模型服务化。

最低0.47元/天 解锁文章
大模型（LLM）的推理加速
qq_52053775的博客
05-02 9075
论文分析并总结了如何提高大型语言模型（LLM）在推断阶段的效率。文中指出，尽管LLM在多种任务中表现出色，但它们在资源有限的环境中的部署却面临着由于模型大小、注意力机制的复杂性和自回归解码过程所带来的计算和存储成本的挑战。文章通过建立一个包含数据层面、模型层面和系统层面优化的全面分类体系，探讨了当前文献中的不同优化策略，并进行了一系列比较实验，以提供定量见解。最后，文中还总结了现有知识并讨论了未来的研究方向。 Transformer由注意力机制和FFN层构成，自注意力机制带来大量的计算量，计算
昇腾910B国产化大模型适配指南
热门推荐
qq_42751565的博客
06-01 1万+
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
AI大模型落地应用场景：LLM训练性能基准测试
m0_63171455的博客
06-18 2372
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 + 模型前反向时间 + 优化器时间 + 模型后处理时间 + 通信时间 + 调度时间数据加载时间。
Ollama vs vLLM：并发性能深度评测
最新发布
Cyanty的博客
02-17 2224
1.1 OllamaOllama 是一个简单易用的 LLM 部署工具，以其简洁的安装和用户友好的界面而闻名。它支持多种模型架构，并提供了丰富的命令行工具和图形化界面，适合快速原型设计和小规模部署。1.2 vLLMvLLM（Very Large Language Model）是一个高性能的推理引擎，专注于大规模语言模型的高效推理。它通过动态批处理、显存优化和多 GPU 支持，显著提升了推理速度和资源利用率。
华为MindIE初体验：Qwen1.5-14B-Chat模型40并发推理实测
强化学习曾小健
08-03 3807
原创 XC272024年07月03日 22:14北京最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。
MindIE Service服务化集成部署通义千问Qwen模型
qq_36344652的博客
07-30 3195
在基于MindIE实现千问Qwen推理加速后，继续研究了MindIE Service，将部署经验分享给需要的人
昇腾大模型推理解决方案MindIE部署
深蓝
09-20 8301
昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家
MindIE Service整体介绍&快速上手
cc_beolus的博客
01-03 2116
MindIE Service是面向通用模型场景的推理服务化框架，通过开放、可扩展的推理服务化平台架构提供推理服务化能力，支持对接业界主流推理框架接口，满足大语言模型的高性能推理需求。
大模型国产化适配11-LLM训练性能基准测试（昇腾910B3）
强化学习曾小健
07-17 1979
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 +模型前反向时间 + 优化器时间 + 模型后处理时间+ 通信时间 + 调度时间数据加载时间。
【LLM国产化】量化技术在MindIE中的应用
AGI_GGbond的博客
10-25 1119
目前，由于大模型参数量显著激增，从而导致模型变得越来越大。因此，需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
大模型推理服务调度优化技术-Continuous batching
weixin_72959097的博客
08-13 1907
本文先介绍了不同批处理基本概念区别，然后，讲述了 LLM 推理框架中提升吞吐性能最重要的技术 Continuous batching。同时，分析了其在不同框架中的应用实现。
Ascend推理组件MindIE LLM
xyz3120的专栏
11-08 846
是MindIE解决方案下的大语言模型推理组件，基于昇腾硬件提供业界通用大模型推理能力，同时提供多并发请求的调度功能，支持Continuous Batching、PageAttention、FlashDecoding等加速特性，使能用户高性能推理需求。MindIE LLM主要提供大模型推理。
大模型推理部署：LLM 七种推理服务框架总结
机器学习社区
12-30 1万+
虽然可以合并自己的模型，但如果模型没有使用与vLLM中现有模型类似的架构，则过程会变得更加复杂。例如，增加Falcon的支持，这似乎很有挑战性；
AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署
人工智能领域博客
05-06 5169
一行代码完成Ollama本地部署，提升大语言模型推理服务部署与效果评测效率。
MindIE 1.0.RC1 发布，昇腾终于推出了针对LLM的完整部署方案
强化学习曾小健
08-03 1763
MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。本文简要介绍了 MindIE 基本特性，后续我也会推出一些MindIE相关的实战教程，如果大家感兴趣，请持续关注。
昇腾环境下使用docker部署mindie-service
yuanlulu的博客
07-08 3928
MindIE是基于昇腾硬件的运行加速、调试调优、快速迁移部署的高性能深度学习推理框架。它包含了MindIE-Service、MindIE-Torch和MindIE-RT等组件。我主要用MindIE-Service的功能，这个组件对标的是vllm这样的大语言推理框架。
大模型分布式推理ray
weixin_40777649的博客
03-22 1959
参考：https://zhuanlan.zhihu.com/p/647973148?1 框架：Ray：将一个模型拆分到多个显卡中，实现分布式预测、训练等功能。运行>> serve run test:deployment。案例：通过ray 实现分布式部署，分布式推理服务。4. 相关文档、案例阅读。文件名：test.py。
langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
丨汀、的博客
07-16 2159
langchain[2]：Langchain实战教学,国内大模型LLM选择以及主流大模型快速使用教程[GLM4/Qwen/Baichuan/Coze/Kimi]
AI大模型推理过程和优化技术
酌沧
04-18 4081
主流的大模型都是基于Transformer架构，其核心是注意力（Attention）机制，简单说就是计算softmax(qk^T)*v推理会分成 prefill 和 decoding 两个阶段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值