基于TGI的大模型推理框架适配之昇腾部署

最新推荐文章于 2025-03-30 09:54:30 发布
最新推荐文章于 2025-03-30 09:54:30 发布
阅读量3.2k 收藏 8
点赞数 9
文章标签： 人工智能 深度学习 docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44659309/article/details/134800568
版权 
docker run -it -u root --ipc=host --network host --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device
最低0.47元/天 解锁文章
Zain Lau
关注
大模型推理和部署框架vLLM
qq_52053775的博客
09-18 2875
操作系统中的内存分页是一种用于管理和分配计算机内存的方法，主要应用于 Windows 和 Unix 等操作系统。它的基本思想是将内存分割成多个“页面”（Page），操作系统根据程序运行的需要将页面动态地加载到物理内存中，而不常用的页面则可以暂时存放到硬盘上的交换文件（Swap File）中。这种技术可以让内存使用更加高效，避免将所有程序的数据一次性加载到物理内存中，尤其是当系统资源有限时，这种机制可以显著提升系统的性能。
LLM实践系列-昇腾910B上进行Qwen2.5推理
xx_nm98的博客
11-03 6467
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
【大模型】text-generation-inference（TGI）项目加速推理的量化实现与使用GPTQ量化实现的对比
m0_51538830的博客
08-28 4821
text-generation-inference TGI项目加速推理的量化实现与使用GPTQ量化实现的对比
vllm-ascend：为Ascend NPU提供无缝支持的AI模型插件
gitblog_00524的博客
03-27 504
vllm-ascend：为Ascend NPU提供无缝支持的AI模型插件 vllm-ascend Community maintained hardware plugin for vLLM on Ascend 项目地址: http...
大模型实操与API调用 | 四十五、TGI模型部署
Androiddddd的博客
08-13 1822
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
LLM大模型学习：LLM大模型推理加速llm推理框架 Text Generation Inference(TGI) 教程
2401_85390073的博客
09-08 969
在右下角，可以看到token树数量和延迟情况，如果你的应用需要处理大量token，随着token的增大，延迟会不断增加，可以找到图中的拐点，以确定最佳的token数量，如果token数量不够，那么可以考虑添加显卡，增多硬件。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
大模型推理框架（三）Text generation inference (TGI)
深数研究院
01-04 1125
Text Generation Inference（TGI）是一个由Hugging Face开发的用于部署和提供大型语言模型（LLMs）的框架。它是一个生产级别的工具包，专门设计用于在本地机器上以服务的形式运行大型语言模型。TGI使用Rust和Python编写，提供了一个端点来调用模型，使得文本生成任务更加高效和灵活.
AI架构设计7：TGI
鲁班模锤
05-28 1173
vLLM适用于需要高效内存管理和并行计算的大规模语言模型推理，特别是在资源受限的环境中表现优秀。其主要优势在于高效的内存使用和灵活的并行处理能力，但需要细致的配置和优化。而TGI则专注于提升文本生成任务的推理速度，适用于需要高效文本生成的应用场景。其主要优势在于推理速度优化和模型压缩，但主要针对特定任务进行优化，量化可能会影响模型精度。选择哪一个系统取决于具体的应用需求。
推理框架深度对比：Transformers / vLLM / TGI / FastChat 部署实测 × 适配建议
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
03-30 1006
从出发，全面对比当前主流大模型推理框架在国产模型中的表现，包括安装复杂度、兼容模型范围、接口标准化程度、性能数据等，帮助你。
一个基于 Python 的 LLM (大语言模型) 快速推理和服务框架，GPU利用率大幅提升
08-05
一个基于 Python 的 LLM (大语言模型) 推理和服务框架，以其轻量级设计、易于扩展和高速性能而著称。 利用了众多备受推崇的开源实现的优势，包括但不限于 FasterTransformer、TGI、 VLLM 和FlashAttention - 三进程...
【推理框架】超详细！AIGC面试系列 大模型推理系列(1)
文奇的博客
04-18 4799
本期问题快览 有哪些大模型推理框架 了解vllm吗 介绍下vllm的核心技术 了解faster transformer吗 介绍下faster transformer的核心技术 了解Xinference吗 了解llama.cpp项目吗 llama.cpp项目突出的优势是什么
Text Generation Inference（TGI）
AI工程化、开源分享、文档翻译、代码笔记
03-21 3650
Text Generation Inference 一、关于 Text Generation Inference 功能特性 硬件支持 二、开始使用 1、Docker 2、API 文档 3、使用个人或者 gated model 4、关于共享内存 (shm) 5、分布式跟踪 6、架构 7、本地安装 三、Optimized architectures 四、本地运行 1、运行 2、量化 五、开发 & 测试 1、开发 2、测试
北京昇腾人工智能计算中心率先实现基于MindSpore的Baichuan大模型训练、微调、推理和部署
Kenji_Shinji的博客
09-08 900
同时，MindFormers还具有易用性和可扩展性的特点，让用户可以快速上手，一行代码实现从单卡到大规模集群训练的无缝切换，高效地融合数据并行和模型并行策略；大模型时代，为了帮助各行业客户更好的使用大模型和大算力的能力，北京昇腾人工智能计算中心，已经将Baichuan、GLM、Llama、Bloom 、T5、BERT、GPT2、PanGuAlpha、MAE、VIT、Swin、CLIP等模型完成了训练、微调、推理和部署，未来还将逐步增加更多基础大模型，方便行业客户基于基础大模型，快速孵化专属的行业模型。
基于昇腾的大模型部署
qq_29925133的博客
06-20 2190
在昇腾的设备商需要安装驱动和对应的固件，具体安装什么版本是与一些库支持，比如打算使用mindformers1.0,那么驱动是23.0.rc3+7.0.0.5.242。如果是要重新安装torch的环境，有的软件需要重新编译后安装，一定要先卸载而不要想覆盖的方式安装python的包。在这里使用mindformers的web-chat，这里面就是纯python了，直接从predict_process.py文件中接到自己的服务中即可。本来是有hccl命令来生成的hccn.conf文件的，如果无法生成可以手动建立。
vLLM vs TGI 部署大模型以及注意点
哦豁灬
04-05 5853
LLM 高并发部署是个难题，具备高吞吐量的服务，能够让用户有更好的体验（比如模型生成文字速度提升，用户排队时间缩短）。
大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）
强化学习曾小健
04-18 3236
本文的所有信息都是截止2024年4月最新的一些信息，如有不准确的地方欢迎讨论。总的来说，昇腾最近一年多经过海量大模型需求的洗礼，正在快速变得成熟和完善。希望国产AI芯片、AI软硬件生态越来越好。
华为昇腾部署 DeepSeek-R1 (671B) 大模型实战指南
热门推荐
MnivL的博客
02-11 1万+
本文是一份全面的华为昇腾 Atlas 800I A2 服务器集群部署 DeepSeek-R1 671B 大模型的指南。内容涵盖部署前的硬件和软件要求、模型权重处理（包括下载、格式转换）、昇腾镜像配置（获取、启动及测试）、分布式推理配置、服务化部署（环境变量配置、参数修改、拉起服务及接口测试）、高级量化方案（支持类型和量化命令示例），还提供了常见问题排查方法和丰富的资源链接，助力用户完成在华为昇腾平台上的模型部署。
【AIGC】大模型推理部署框架
LeeZhao的博客
11-21 1766
聚焦AIGC专业技术分享
大模型推理服务框架
03-23
### 大模型推理服务框架的技术实现比较 #### HuggingFace Text Generation Inference (TGI) 特性分析 Hugging Face 的 TGI 是一种专注于大模型推理部署的框架，其设计目标在于平衡服务效率与业务灵活性。该框架支持多种主流大模型以及先进的量化技术，允许用户在资源有限的情况下高效运行大规模语言模型[^1]。具体而言： - **多语言支持**：TGI 结合 Rust 和 Python 实现高性能和易用性的统一，其中核心推理部分采用 Rust 编写以提升速度，而接口层则保留了 Python 的开发便利性。 - **简单集成能力**：开发者能够通过几行代码快速启动一个本地或云端的大规模语言模型实例，并配置相应的硬件加速选项。 - **性能优化**：相比未经优化的标准 Transformer 推理代码，经 TGI 调优后的版本展现出显著的速度优势，在延迟敏感的应用场景下尤为突出。 #### SWIFT 框架特性概述 SWIFT 则是由阿里巴巴达摩院推出的另一款面向 AIGC 领域的大模型推理和服务框架。除了提供常规的推理功能外，还特别强调以下几个方面的能力增强[^2]: - **轻量级调优工具(Efficient Tuners)** ：内置了一系列经过验证有效的参数调整策略，使得即使是中小型计算设备也能流畅执行复杂的 AI 任务。 - **无缝衔接 ModelScope 平台** : 不仅简化了从研发到生产的整个流程, 还促进了社区间的资源共享和技术交流. - **丰富的案例指导** : 提供详尽的文档说明及实际操作指南帮助初学者迅速上手. #### 性能对比总结表 | 功能维度 | HuggingFace TGI | SWIFT | |----------------|----------------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------| | 开发复杂度 | 较低，适合希望减少定制工作的团队 | 中等偏高，提供更多自定义空间 | | 支持平台范围 | 主要集中在 Linux 系统 | Windows/MacOS/Linux 均兼容 | | 社区活跃程度 | 极高，得益于全球范围内广泛使用者反馈 | 相对较小但增长迅速 | 综上所述，虽然两者都致力于解决相同领域内的挑战——即如何更有效地利用现有软硬件设施来完成高质量的语言理解/生成工作；但由于定位不同(前者偏向通用型解决方案后者更加专业化)，所以在某些细节上的取舍也会有所区别。 ```python # 示例代码展示两个框架加载模型的方式差异 from transformers import AutoTokenizer, pipeline import torch def load_tgi_model(): tokenizer = AutoTokenizer.from_pretrained("bigscience/bloom") model_pipeline = pipeline('text-generation', model="bigscience/bloom", device_map='auto') return model_pipeline def load_swift_model(): from swift.llm import SwiftForCausalLM model = SwiftForCausalLM.from_pretrained("Qwen/Qwen-Max") return model.eval() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值