大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）

最新推荐文章于 2024-11-12 23:10:51 发布
最新推荐文章于 2024-11-12 23:10:51 发布
阅读量3.2k 收藏 26
点赞数 21
分类专栏： LLM分布式训练框架DeepSpeed/accelera LLM大语言模型 文章标签： python 开发语言 人工智能 llama agi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/137923167
版权

大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）

原创 吃果冻不吐果冻皮 吃果冻不吐果冻皮 2024-04-17 12:00 四川

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前也分享过一些国产 AI 芯片 和 AI 框架。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
华为昇腾NPU卡 大模型LLM ChatGLM2模型推理使用
weixin_42357472的博客
10-23 4218
参考：https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b安装环境：昇腾NPU卡对应英伟达GPU卡，CANN对应CUDA底层；mindspore对应pytorch；
Atlas 800 T A2四机部署满血DeepSeek-R1
最新发布
m0_50105717的博客
03-10 263
NPU驱动：Ascend-hdk-910b-npu-driver 24.1.0 linux-aarch64.run。docker run -itd --privileged --name=容器名称 --net=host \。NPU固件：Ascend-hdk-910b-npu-firware 7.5.0.3.220.run。"managementIpAddress" : "改成主节点IP""modelWeightPath" : "权重路径""ipAddress" : "改成主节点IP"
昇腾910B国产化大模型适配指南
热门推荐
qq_42751565的博客
06-01 1万+
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
深度学习模型移植到嵌入式设备（华为昇腾310 Atlas 200DK）
cdyyyyyyy的博客
11-14 2590
将深度学习模型移植到嵌入式设备，需要了解模型的推理流程，以及嵌入式设备的特性。不同的嵌入式设备对模型加载推理的接口不同。此文以华为昇腾的开发套件为例，其他嵌入式设备可以参考其设备说明文档。
华为ModelLink解释
强化学习曾小健
08-03 1548
安装 torch_npu 以torch 2.0.1 的python 3.9的版本为例。根据所使用的环境中的python版本以及cpu类型，选择对应版本的torch安装包。# 若使用gitee上的源码进行编译（即1.5章节的场景二），则执行以下指令。# 安装torch 2.0.1 的python 3.9 的arm版本为例。torch版本 以及 python版本 一致的npu_torch。# 若使用编译好的包（即1.5章节的场景一），则执行以下指令。先安装torch 再安装torch_npu。
【2024昇腾&鲲鹏创新大赛集训营】异构计算框架CANN 及 Ascend C 自定义算子实现（昇腾篇学习笔记 -- 小白向）
weixin_42834975的博客
07-02 1084
学习华为昇腾CANN异构计算架构Ascend C算子开发课程的笔记（适用零基础小白参考），主要介绍：一些基础概念（CANN、NPU、算子、Ascend C）；昇腾AI硬件简介；昇腾AI的并行计算方法；Ascend C算子开发的编程范式；算子开发流程和源码分析等。
基于Pytorch+昇腾NPU部署baichuan2-7B大模型
XD的博客
04-02 4823
Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6 万亿Tokens 的高质量语料训练。Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。它基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。项目地址预训练模型modelscope硬件要求：NPU：8 x Ascend NPUsModelLink旨在为华为昇腾芯片。
MindFormers：智能模型构建与优化的新境界
gitblog_00016的博客
04-02 595
MindFormers：智能模型构建与优化的新境界 项目地址:https://gitcode.com/gh_mirrors/mi/mindformers 项目简介 是一个由华为MindSpore团队开发的强大开源平台，旨在加速和简化深度学习模型的研发流程。它集合了模型自动化构建、训练和调优功能，为AI开发者提供了一站式的解决方案。 技术分析 自动化模型构建 MindFormers支持自动化的模型生...
大模型国产化适配11-LLM训练性能基准测试（昇腾910B3）
强化学习曾小健
07-17 1998
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 +模型前反向时间 + 优化器时间 + 模型后处理时间+ 通信时间 + 调度时间数据加载时间。
昇腾与昇思原生，助力智谱打造自主创新大模型体系！
爱云资讯的博客
08-20 466
CodeGeeX4在训练过程中，调用昇腾原生的融合算子，利用昇思MindSpore AI框架的提供的多维混合分布式并行能力，通过对流水交织并行、tensor模型并行的优化，解决内存瓶颈、降低计算空泡、提升通信效率，实现“计算、网络、存储”协同优化，对比同等规模参数的模型，训练效率20%提升，加速模型的迭代创新。其中，代码生成大模型CodeGeeX4的新版本基于昇腾AI与昇思AI框架训练，依托昇腾与昇思的多维混合分布式并行技术等软硬件能力等，将大幅提升模型开发、训练的效率及模型精度。
安装MindFormers
qq_36344652的博客
08-06 706
MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
基于TGI的大模型推理框架适配之昇腾部署
小白菜的博客
01-03 3257
优势支持 continuous batching支持flash-attention 和 Paged Attention支持Safetensors 权重加载支持部署 GPTQ 模型服务（量化）Router和Server是最重要的组件若干个客户端同时请求Web Server的“/generate”服务后，服务端会将这些请求在“Buffer”组件处整合为Batch，并通过gRPC协议转发请求给GPU推理引擎进行计算生成。
LLMs之MindFormers：基于国产硬件华为Atlas针对Llama 3.1-8B/70B实现模型全参微调(单机多卡训练/多机多卡训练)→模型推理(单机推理/多机推理)→基于MindIE的服务化
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-12 1972
​ LLMs之Llama-3.1：基于国产硬件华为Atlas针对Llama 3.1-8B/70B实现模型全参微调(单机多卡训练/多机多卡训练)→模型推理(单机推理/多机推理)→基于MindIE的服务化推理(单卡) 目录 Llama 3.1系列模型的简介 基于国产硬件华为Atlas实现Llama 3.1模型的微调训练和推理 Llama 3.1系列模型的简介 Llama 3.1系列模型：开源Llama系列的最新产品，目前有三个版本：Llama 3.1-8B，L
MindFormers大模型套件llama 训练&微调&评估&推理 一步到位奶爸级教程
skytttttt9394的博客
08-18 853
基于MindFormers大模型套件中llama readme跑通的训练、评估、微调、推理整理的文档，适合初次接触大模型套件的童鞋入坑学习。
大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试
强化学习曾小健
08-03 2197
本文简要介绍了LLM推理过程、LLM推理服务的目标、常见的LLM服务评估指标以及LLM推理优化技术。同时，使用MindIE-Service对不同的大模型的推理延迟和吞吐量进行了测试。参考文档：Reproducible Performance Metrics for LLM inference / 可复现的语言大模型推理性能指标LLM 推理性能工程最佳实践大语言模型推理性能工程优化最佳实践吃果冻不吐果冻皮专注于AI工程化（LLM、MLOps、LLMOps、RAG、Agent）落地。150篇原创内容。
MindIE 1.0.RC1 发布，昇腾终于推出了针对LLM的完整部署方案
强化学习曾小健
08-03 1792
MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。本文简要介绍了 MindIE 基本特性，后续我也会推出一些MindIE相关的实战教程，如果大家感兴趣，请持续关注。
第一期·MindFormers大模型套件《架构讲解与使用入门》
Kenji_Shinji的博客
10-18 936
MindFormers大模型套件赋能培训第一期《MindFormers套件架构讲解与使用入门》
MindFormers 项目使用教程
gitblog_00500的博客
08-20 509
MindFormers 项目使用教程 mindformers项目地址:https://gitcode.com/gh_mirrors/mi/mindformers 1. 项目的目录结构及介绍 MindFormers 项目的目录结构如下： mindformers/ ├── configs/ ├── docs/ ├── mindformers/ │ ├── core/ │ ├── datase...
LLMs：MindFormers的简介、安装和使用方法、案例应用
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-12 1452
​ LLMs：MindFormers的简介、安装和使用方法、案例应用 目录 MindFormers的简介 MindFormers的安装和使用方法 MindFormers的案例应用 MindFormers的简介 2024年1月发布，MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研
vLLM昇腾插件v0.7.1rc1发布：让大语言模型在Ascend NPU上高效运行
- 插件的存在，让大语言模型（LLM）如Transformer、混合专家(MOE)、嵌入式模型和多模态模型可以利用Ascend NPU的性能优势，实现高效的运算处理。 3. **支持的大模型类型** - **Transformer**：一种基于注意力机制...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值