推理框架深度对比：Transformers / vLLM / TGI / FastChat 部署实测 × 适配建议

于 2025-03-30 09:54:30 发布
阅读量1k 收藏 16
点赞数 16
分类专栏： 国产大模型部署实战全流程指南 文章标签： java 前端 服务器 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28461591/article/details/146713042
版权

⚙️ 推理框架深度对比：Transformers / vLLM / TGI / FastChat 部署实测 × 适配建议

🎯 本文目标：从实战部署视角出发，全面对比当前主流大模型推理框架在国产模型中的表现，包括安装复杂度、兼容模型范围、接口标准化程度、性能数据等，帮助你选对框架，跑得更快更稳更安全。

✅ 一、为什么要重视推理框架的选择？

在国产大模型快速演进的背景下，不同模型往往默认支持的推理框架不一致 —— 这会直接影响：

影响维度 表现
🚀 推理速度 同样的模型，vLLM 比 transformers 快2~5倍
🔌 API 接入 TGI 支持 OpenAI 接口，FastChat 支持 Web UI 和管理
🛠️ 部署难度 transformers 最灵活，但代码工作量最大
🔄 多模型管理 vL
了解本专栏 订阅专栏 解锁全文 超级会员免费看
基础篇| 全网最全详解12个大模型推理框架
youbingchen的博客
07-30 3995
开始介绍之前, 我们先了解一下什么是框架?xx框架-IT人经常听到的名词。但是又有多少人知道框架的意思?框架（framework）是一个框子:指其约束性，也是一个架子——指其支撑性。是一个基本概念上的结构，用于去解决或者处理复杂的问题。在IT软件领域，软件框架（software framework）的标准定义：通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 5326
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
LLM的7种推理框架
python122_的博客
06-13 2305
我们如何在本地安全地运行私有的LLMs呢？开源模型为此提供了可能的解决方案。本文将介绍七种方法。这是一个Python库，可以简化本地运行LLM的过程。特点：Llama.cpp是一个基于C++的推理引擎，专门为Apple Silicon优化，可以运行Meta的Llama2模型。它针对GPU和CPU都做了推理优化。优点：性能高于基于Python的解决方案，支持在适度的硬件上运行大型模型，如Llama 7B，并提供绑定，可以用其他语言构建AI应用程序，同时通过Llama.cpp运行推理。
【收藏好文】AI推理框架最全对比：OpenVINO、TensorRT、Mediapipe
oakchina的博客
03-30 1万+
我们都晓得，现在常见的模型推理部署框架有很多，例如：英特尔的OpenVINO，英伟达的TensorRT，谷歌的Mediapipe，那么我们应该选哪个呢？今天我们来对这些框架及其相关设备做一个介绍和对比，这样也方便大家择优选择。 OpenVINO介绍 OpenVINO是英特尔针对自家硬件平台开发的一套深度学习工具库，包含推断库，模型优化等等一系列与深度学习模型部署相关的功能。......
大模型推理部署：LLM 七种推理服务框架总结
机器学习社区
12-30 1万+
虽然可以合并自己的模型，但如果模型没有使用与vLLM中现有模型类似的架构，则过程会变得更加复杂。例如，增加Falcon的支持，这似乎很有挑战性；
常用推理框架介绍
张伟的专栏
04-20 1936
请注意，由于工具和项目的更新和变化，GitHub链接可能会发生变化或不再可用。在访问链接时，请确保检查链接的有效性，并参考最新的官方文档和社区信息。此外，一些工具可能是私有或受限制的，因此可能无法直接访问其GitHub仓库。在这种情况下，你可以通过官方渠道或相关社区来获取更多信息和支持。
深度学习推理框架
张伟的专栏
11-21 2025
现在主流的包括：TensorRT，ONNXRuntime，OpenVINO，ncnn，MNN 等。
RuntimeError:Internal: src/sentencepiece_processor.cc(1101)model_proto-＞ParseFromArray(serialize解决方案
热门推荐
weixin_43178406的博客
04-25 9万+
本文主要介绍了RuntimeError: Internal: src/sentencepiece_processor.cc(1101) [model_proto->ParseFromArray(serialized.data(), serialized.size())]解决方案，希望对同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FasterTransformer/FastLLM/vLLM
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-14 2606
​ PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略 目录 一、大模型预训练阶段—加速方法或框架(以分布式深度学习为核心) 二、大模型推理阶段—加速方法或框架 持续更新中…… 一、大模型预训练阶段—加速方法或框架(以分布式深度学习为核心) 1.1、训练阶段—加速方法或框架的概述 背景 随着预训练语言模型研究的不断深入，
fatal: 无法访问 ‘https://github.com/huggingface/diffusers/‘ error: subprocess-exited-with-error
沉迷单车的追风少年
06-12 2192
安装diffuser fatal: 无法访问 ‘https://github.com/huggingface/diffusers/‘ error: subprocess-exited-with-error
deploy-transformers：轻松部署来自HuggingFace的Transformers的最新语言模型
02-05
:rocket: 部署变形金刚 :hugging_face: 只需三行代码即可部署SOTA模型以生成文本 :laptop: 安装 显然需要和 。 pip install deploy-transformers 对于部署，文件结构需要像这样： ├── static │ ├── script.js │ ├── style.css ├── templates │ ├── 404.html │ ├── index.html | └── your_file.py 您可以克隆该存储库以包含原始文件，也可以使用函数website.create_structure()或自行创建结构。 website.create_structure(
主流的深度学习推理架构有哪些呢？
张伟的专栏
07-30 696
主流的深度学习推理架构有哪些呢？
深度学习推理框架概览
Awesome Computer Vision, 做计算机视觉的程序员
09-07 1037
信息汇总使用体验1. MNN VS NCNN2.TNN3.Paddle-Lite4.OpenVino5.TensorRT社区支持发展趋势其他工作中涉及到在各种各样的硬件上做神经网络的推理，对使用到的一些框架做一个梳理汇总。信息汇总框架项目地址平台支持所属公司特点NCNNhttps://github.com/Tencent/ncnn腾讯开放时间比较早，资源较多TNNhttps://github.com/Tencent/TNN腾讯与其他框架相比，支持跨模型的内存复用，对于内存比较吃紧的情况有用MNNhttps:
LLM 推理框架之上：10 中常见 LLM 推理系统总结
python122_的博客
06-13 1814
在 [2302.11665] AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving 中，作者证明了当为多个模型提供服务时，即使单个模型可以放置在单个设备上，模型并行性也可以额外用于多个设备的统计多路复用。文中作者也探索了模型并行性引入的开销与利用统计多路复用来减少存在突发工作负载时的服务延迟之间的权衡。
深度学习模型引擎大对决：Transformers vs vLLM vs llama.cpp
gs80140的专栏
02-07 2019
提供了全面的功能，适合开发和微调任务。vLLM专注于大模型的高效推理，适合实时生产环境。llama.cpp则为低资源场景提供了轻量级解决方案。通过充分了解它们的优缺点，你可以为自己的项目选择最佳工具，让 AI 应用更加高效和便捷。如果你对某款引擎有特别的兴趣，欢迎在评论区分享你的使用体验！
【AIGC】大模型推理部署框架
LeeZhao的博客
11-21 1773
聚焦AIGC专业技术分享
当前主流的大模型训练与推理框架的全面汇总
最新发布
随笔记录-分享&记忆
03-09 1110
以下是更新后包含 SGLang 的大模型训练与推理框架列表，并对分类和示例进行了优化：TensorRT-LLMONNX RuntimeOpenVINOFasterTransformerMNNvLLMHuggingFace TGI (Text Generation Inference)DeepSpeed-InferenceLlama.cppLMDeploySGLangTensorFlow ServingOllamaMLC-LLMPowerInferbitsandbytesAWQ (Activation-awa
本地化部署大模型方案二：fastchat+llm(vllm)
huiguo_的博客
01-23 1万+
FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。FastChat 为 Chatbot Arena ( https://chat.lmsys.org/ ) 提供支持，为 50 多名法学硕士提供超过 600 万个聊天请求。Arena 从并列的 LLM 比赛中收集了超过 10 万个人投票，编制了在线LLM Elo排行榜。最先进模型的训练和评估代码（例如，Vicuna、MT-Bench）。
https://huggingface.co/docs/transformers/installation#offline-mode
11-23
Hugging Face Transformers库是一个流行的自然语言处理工具包，其中包含了预训练模型如BERT、GPT等。关于离线安装（Offline Mode），它是指在没有网络连接的情况下也能使用该库的情况。在Hugging Face官网的文档中，提供以下指导： 1. **下载模型文件**：首先，你需要下载你想要使用的模型的权重文件。这通常包含在`model_name_or_path`变量指定的路径下，例如`./my_model_dir`。 2. **安装依赖**：虽然Transformers库本身需要在线安装部分依赖，但是你可以提前下载并安装到本地。比如，你可以通过`pip install --no-index -f path/to/local wheelhouse`命令安装。 3. **设置环境变量**：配置`TORCH_MODEL_ZOO``TF_HUB_CACHE_DIR`等环境变量指向你的下载目录，以便库能够找到模型文件。 4. **使用本地模式**：在导入模块时，告诉Transformers你在离线模式下操作，可以像下面这样： ```python from transformers import AutoModelForSequenceClassification, is_offline_mode if is_offline_mode(): model = AutoModelForSequenceClassification.from_pretrained('./my_model_dir') else: model = AutoModelForSequenceClassification.from_pretrained('huggingface/<model_name>') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

观熵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值