2025最新大语言模型（LLM）推理框架分析与选型建议，附大模型智能体（LLM Agent）学习笔记

1. 引言

大型语言模型（LLM）作为推动智能交互‌、数字内容生产‌及自动化编程‌等领域的变革引擎，正在重塑现代技术应用格局。其推理框架作为支撑模型落地的核心基础设施，深刻影响着系统吞吐效率、资源消耗水平和工程迭代速度‌。

为应对当前技术生态中框架选型的复杂性挑战，本文系统解析主流推理系统（涵盖XInference、LMDeploy、vLLM等核心方案）的架构设计差异‌、硬件适配能力‌、实时响应特性及部署成本曲线。

结合DeepSeekAI开源技术矩阵（集成FlashMLA计算加速、DeepEP弹性调度等模块）‌，从底层算子优化‌、异构计算策略‌、开发者社区成熟度‌三大维度构建评估体系，为2025年AI产业实践提供具备长期适应性的技术选型框架。

2. 主流LLM推理框架概览

以下是2025年主流的LLM推理框架，根据其核心优势进行了分类，并特别强调了DeepSeek AI开源基础设施索引在提升框架性能方面的作用：

高性能推理框架：

vLLM：

基于革新性PagedAttention架构，打造GPU计算新标杆，在超高并发场景下实现吞吐量倍增与显存占用优化，赋能千亿级参数模型部署。

LMDeploy：

极致GPU性能的代名词，提供超低延迟和高吞吐量，完美契合企业级实时应用的需求。

TGI (Text Generation Inference)：

企业级文本生成服务，专为生产环境的稳定性和高吞吐量而生，是构建可靠LLM服务的基石。

SGLang：

高性能推理runtime的典范，深度优化语言生成流程，内建强大的分布式部署能力，可轻松应对最复杂的应用场景。

DeepSeek AI Open Infra Index (底层优化支持)：

DeepSeekAI开源技术矩阵集成FlashMLA与DeepEP核心组件，通过与SGLang、vLLM等主流推理框架的深度协同，实现计算效率的跨层级优化，为AI推理任务提供端到端的加速解决方案。

本地部署与轻量化框架：

Ollama：

极简本地部署方案，一键加载模型，集成用户友好的Web界面，是个人用户进行快速原型验证和本地实验的最佳选择。

Llama.cpp：

CPU优化设计的专家，以轻量级著称，资源占用极低，完美适用于边缘设备和资源受限的特殊环境。

LocalAI：

本地运行的首选，将数据隐私和安全性置于首位，尤其适合对数据敏感度有极高要求的应用场景。

KTransformers：

CPU优化框架中的能效先锋，专注于在资源极其有限的环境中实现低功耗和高效率的平衡。

GPT4ALL：

配备图形用户界面 (GUI) 工具，操作极其简易直观，最大程度降低了LLM的使用门槛，是初学者快速入门的理想框架。

灵活部署与多模型支持框架：

XInference：

开源框架的佼佼者，提供与 OpenAI API 兼容的接口，具备高度的部署灵活性，并原生支持多种模型，能够灵活应对快速变化的应用需求。

OpenLLM：

开源社区的灵活之选，不仅开源，更具备高度的灵活性和可定制性，广泛支持各种模型架构和混合部署模式，特别适合需要深度定制化LLM部署的场景。

Hugging Face Transformers：

生态系统最为完善，模型资源极其丰富，社区支持强大，广泛应用于学术研究和快速原型开发，部署方式也异常灵活。

LiteLLM：

轻量级适配层的代表，提供统一的API接口，能够无缝支持多种LLM，极大地简化了多模型集成和管理的复杂性。

开发者友好型框架：

FastAPI：

高性能Python Web框架，专为快速构建LLM推理API服务而设计，以其开发效率高和性能卓越而著称，尤其适合快速原型开发和API服务构建。

Dify：

集成多种工具的开发框架，为快速构建和部署基于LLM的应用提供了极大便利，尤其适合应用开发者和快速原型设计。

Coze(扣子)：

扣子是面向未来智能场景的创新开发平台，突破传统技术门槛限制。用户无需掌握编程语言，即可通过可视化界面快速构建智能对话、图像生成等AI应用模块。

完成开发后，支持跨平台部署至微信、钉钉等主流社交生态，更能通过标准化接口与企业业务系统深度集成，真正实现AI能力与商业场景的无缝衔接。

3. 框架深度解析与对比

我们将深入解析XInference、LiteLLM、LMDeploy、SGLang和vLLM这五大核心框架，并在3.7节通过对比表格，更直观地展现各框架在性能、易用性、灵活性、社区支持等关键维度上的差异与特点。

3.1 XInference：灵活易用的模型服务平台

核心特点：

XInference的核心竞争力体现在多维度部署能力和极简操作体验，不仅内置DeepSeek等主流模型框架的深度适配方案，更通过OpenAI API标准接口实现协议级兼容，支持从本地服务器到云原生环境的全场景快速部署。

功能优势：

卓越的多模态兼容能力，全面支持主流AI框架与异构计算架构；构建从模型开发、训练到生产部署的全周期治理体系，实现自动化运维管理；在提供极致计算性能的同时，保持开发者友好的交互设计；深度兼容OpenAI生态接口标准，支持企业现有智能业务的无缝迁移与敏捷集成。

适用场景：

灵活部署需求是其核心优势，尤其适合需要快速迭代、灵活应对市场变化的初创公司和注重效率、希望快速验证想法的研究团队。

3.2 LiteLLM：轻量级多模型API集成利器

核心特点：

LiteLLM凭借其模块化架构与多模态接口设计，在AI工程领域树立了技术标杆。

该框架通过封装标准化的OpenAI兼容接口，实现了对主流大语言模型服务商（包括OpenAI、Anthropic、HuggingFace、DeepSeek等）API的透明化调用，使开发者在无需重构代码架构的前提下，即可完成跨平台模型服务的快速迁移与成本优化。

功能优势：

统一的 API 接口设计，极大简化了多模型调用和切换的复杂度；多提供商支持，真正实现了模型的“即插即用”；内置缓存和速率限制机制，为生产环境的稳定运行保驾护航；轻量级设计，易于集成到现有项目中，学习曲线平缓。

适用场景：

非常适合需要在不同模型或提供商之间快速切换和对比测试的开发场景，例如进行多模型对比评测、构建多模型驱动的应用，或者需要高可用性和模型冗余的生产环境。

3.3 LMDeploy：极致GPU性能的追求者

核心特点：

LMDeploy 是一款专注于GPU高性能推理的服务框架，专为LLM和视觉语言模型（VLs）等计算密集型任务设计。其核心目标是压榨GPU的全部潜能，实现高吞吐量和低延迟的推理服务，满足对性能有极致要求的场景。

功能优势：

极致的推理性能，专为GPU深度优化，提供业界领先的吞吐量和低延迟；广泛的模型架构支持，兼容多种主流LLM模型，无需担心模型适配问题；简单易用的API，降低了高性能推理的门槛，即使是中小型团队也能快速上手；企业级特性，在稳定性、可靠性、可扩展性等方面均有出色表现，能够满足企业级应用的需求。

适用场景：

主要面向企业级应用或对推理性能有极致要求的场景，例如构建实时对话系统、大规模内容生成平台、高性能AI服务后端等。如果您的应用对延迟极其敏感，或者需要处理海量并发请求，LMDeploy 将是理想的选择。

3.4 SGLang：高性能推理与分布式部署的先锋

核心特点：

SGLang 作为一个开源Python框架，不仅仅是一个推理框架，更是一个高性能的推理runtime。它从底层优化了LLM推理效率，并提供了高层次、易于使用的API，同时具备强大的分布式部署能力。

SGLang 的最新版本 SGLang 0.4.3 (2025年2月) 更是向前迈进了一大步，开始支持 DeepSeek-R1 和 DeepSeek-V3 等先进模型的 Multi-token 预测，长文本生成效率得到了质的飞跃。

功能优势：

动态批处理技术，能够根据实际负载动态调整batch size，最大化GPU利用率；卓越的高吞吐量和低延迟，即使面对高并发请求也能保持稳定高效的推理性能。

强大的分布式部署能力，支持多GPU、多节点集群，轻松应对大规模推理任务；高度易用的API设计，Pythonic风格的API简洁直观，降低了开发门槛，加速了原型开发过程。

Backend 灵活可扩展，可以与 vLLM、DeepSeek-Kit 等多种后端深度集成，充分利用各种后端的优势。

最新消息：

2025年2月，SGLang 官方在 GitHub 上宣布，SGLang 框架已全面支持 DeepSeek-R1 模型的 FP8 推理，进一步提升了推理效率，降低了显存占用。

SGLang 结合 vLLM 后端，在实际benchmark测试中，生成速度可轻松突破 1000+ token/s，性能表现惊艳，完美胜任各种高并发、低延迟的应用场景。

适用场景：

SGLang 的适用场景非常广泛，从快速原型开发到企业级大规模分布式部署，SGLang 都能提供强大的支持。

特别是在以下场景中，SGLang 的优势尤为突出：需要快速进行原型开发和迭代的场景；对语言生成任务性能有较高要求的场景，例如长文本生成、代码生成等；需要进行分布式云端大规模部署，以支持高并发、高吞吐量业务的场景。

3.5 vLLM：高性能GPU推理的领军者

核心特点：

vLLM 凭借其革命性的 PagedAttention 技术，打破了传统推理框架的内存瓶颈，在 GPU 内存效率和推理性能方面都达到了新的高度，堪称高性能 GPU 推理框架的领军者。

功能优势：

卓越的高吞吐量，在处理高并发请求时依然能够保持稳定的低延迟；革命性的 PagedAttention 技术，极大地提升了 GPU 显存利用率，使得在有限的显存下部署更大规模的模型成为可能。

先进的算子融合 (Operator Fusion) 技术，进一步优化了推理计算过程，提升了计算效率；流式输出 (Streaming Output) 支持，可以更快地返回首个 token，优化用户体验。

动态请求批处理 (Dynamic Request Batching) 能力，能够根据实际负载动态调整 batch size，最大化系统吞吐量。

适用场景：

vLLM 的适用场景主要集中在对 GPU 推理性能有极高要求的领域，例如：大规模模型推理，特别是需要部署参数量巨大的 LLM 模型时；需要处理高并发用户请求的在线服务，例如 AI 聊天机器人、智能客服系统等；企业级大规模应用，vLLM 的高性能、高可靠性、高可扩展性能够满足企业级应用的需求。

3.6 DeepSeek AI Open Infra Index：LLM 推理优化的基石

概述：

DeepSeek AI 通过其 Open Infra Index 项目，开源了其生产级推理和训练代码，为开发者提供了宝贵的底层优化工具和技术，堪称 LLM 推理优化的基石。

截至 2025年2月26日，Open Infra Index 已发布了一系列令人瞩目的关键组件，每一项都代表着 LLM 推理和训练技术的最新进展：

FlashMLA (发布于第1天)：

专为 Hopper 架构 GPU 量身打造的高效 MLA (Multi-Layer Attention) 解码内核，完美支持 BF16 精度和分页 KV 缓存技术，在 H800 等高端 GPU 上，FlashMLA 的性能表现极其惊艳，能够充分压榨硬件潜力，逼近 3000 GB/s 内存带宽上限和 580 TFLOPS 理论计算峰值。

DeepEP (发布于第2天)：

面向 MoE (Mixture-of-Experts) 模型的开源 EP (Expert Parallelism) 通信库，同时支持 NVLink 和 RDMA 高速互联，为 MoE 模型提供了高吞吐量预填充 (Pre-fill) 和低延迟解码能力，并原生支持 FP8 等新兴数据格式的调度，为 MoE 模型的分布式高效推理提供了坚实的基础。

DeepGEMM (发布于第3天)：

高性能 FP8 GEMM (General Matrix Multiplication) 库，同样是为 NVIDIA Hopper 架构 GPU 深度定制和优化。

DeepGEMM 不仅支持传统的密集矩阵乘法布局，还针对 MoE 模型的稀疏特性进行了优化，在 Hopper GPU 上，DeepGEMM 的性能可以轻松突破 1350+ TFLOPS，为 LLM 推理提供了强劲的算力支撑。

优化并行策略 (发布于第4天)：

为了进一步提升超大规模 LLM 模型的训练效率，DeepSeek AI 在 Open Infra Index 中开源了一系列优化并行策略，例如 DualPipe (双向流水线并行) 和 EPLB (Expert-Parallel Load Balancer) 等。

这些策略能够显著提升 DeepSeek V3/R1 等超大模型在训练过程中的计算-通信重叠效率，从而在保证模型精度的前提下，大幅缩短模型训练时间。

技术意义：

DeepSeek AI Open Infra Index 的发布，对于整个 LLM 推理框架领域都具有里程碑式的意义。它不仅仅是几个工具的简单开源，更是 LLM 推理优化技术的一次系统性开放，为社区贡献了宝贵的生产级代码和优化经验。

例如，FlashMLA 的高效解码内核，可以直接被 SGLang 等推理框架集成和调用，从而显著提升这些框架的推理性能。

FP8 等低精度数据格式和分布式优化策略的应用，不仅大幅降低了 DeepSeek-V3/R1 等超大型 LLM 模型的运行成本，更重要的是，它增强了高性能推理能力，使得企业和开发者能够以更低的成本，部署更大规模的 LLM，并服务于更广泛的应用场景。

适用场景：

深度定制高性能推理内核的开发场景，例如研究人员希望基于 FlashMLA 进一步优化特定模型的推理性能。

分布式 MoE 模型的高效部署与优化场景，例如企业需要部署超大规模 MoE 模型，并利用 DeepEP 提升通信效率。需要在底层优化推理框架以满足极致性能需求的场景，例如构建对延迟极其敏感的金融交易系统或实时游戏AI。

4. 场景化选型建议

资源极其有限的本地环境：

Ollama 或 Llama.cpp (极致轻量化，CPU 优先，低资源占用，对部署简易性有极高要求)。

对 GPU 高性能推理有极致追求：

LMDeploy 或 vLLM (适用于高吞吐量、低延迟、对性能指标有严苛要求的生产环境)。

需要快速开发和 API 快速部署：

LiteLLM (统一 API，多模型快速集成，追求开发效率) 或 FastAPI (API 构建效率高，擅长快速原型开发)或Dify,Coze 一站式低代码平台。

需要兼顾灵活模型管理和云原生部署：

XInference 或 OpenLLM (适用于需要灵活的模型管理、多模型混合部署、以及云原生环境的场景)。

企业级大规模应用，追求极致性能和可扩展性：

vLLM、TGI 或 LMDeploy (适用于需要企业级稳定性、可靠性、可扩展性和强大性能的大规模商业应用)。

构建分布式高吞吐量推理系统，优化复杂生成任务：

SGLang (结合 SkyPilot 或 Kubernetes，适用于需要分布式推理、高吞吐量、以及优化复杂语言生成任务的场景)。

希望进行底层推理优化，深度定制高性能内核：

DeepSeek Open Infra Index (适用于有能力进行底层内核开发、追求极致性能调优、并希望充分利用 DeepSeek AI 开源优化工具的专业团队)。

LLM 初体验或非技术用户：

GPT4ALL (适用于 LLM 初学者、非技术背景用户，或仅需本地快速体验 LLM 功能的场景)。

数据敏感应用，本地私有化部署：

LocalAI (适用于对数据隐私和安全性有极高要求，必须进行本地私有化部署的应用场景)。

需要广泛的模型选择和强大的生态支持：

Hugging Face Transformers (适用于需要尝试各种不同模型、利用 Hugging Face 强大生态系统进行研究和开发的场景)。

5.智能体架构

构建大语言模型智能体（LLM Agent）时，LLM充当着控制中心或“大脑”的角色，负责管理完成任务或响应用户请求所需的一系列操作。智能体Agent通过调用大模型的能力完成任务，并需要依赖于规划、记忆以及工具使用等关键模块。

通常，一个大语言模型智能体框架包含以下核心部分：

- 用户请求： 表达用户的问题或请求

- 智能体/大脑： 作为协调者的智能体核心

- 规划： 助于智能体为未来行动做规划

- 记忆： 管理智能体的历史行为和经验，分为长期记忆和短期记忆。

- 工具使用： 调用工具与外部环境交互

通过这些组成部分的协同工作，大模型智能体能够处理从简单到复杂的各种请求，不仅能够提供直接的答案，还能解决需要深度分析和多步骤操作的问题。

这种智能体的能力，使其在处理复杂信息查询、数据分析和可视化表示等方面具有巨大潜力。

6.智能体相关技术

网上关于智能体相关技术，经常会看到很多术语，例如：TOT、提示链、RAG、ART、ReAct、Reflexion等，这些都是在智能体开发中使用到的技术。

从广义上来讲，这些技术也属于提示词工程的范畴，但对普通用户日常在聊天大模型场景中很难应用，更多的是用于构建智能体。

下面是对这些术语的简要说明。

**TOT：**即思维树（Tree of Thoughts），是思维链（COT）的升级版本。简单来说，它是针对同一个问题，让大模型使用多种不同解决方法。

每种方法包含多个步骤，这样构成了一个思维过程的树状结构，大模型可以采用广度优先或深度优先搜索算法遍历这棵树，生成最佳答案。

**提示链：**提示链是将一个提示的输出作为另一个提示的输入，这样可以组合多个不同的提示词，共同完成预定任务。

**RAG：**即检索增强生成（Retrieval Augmented Generation），RAG把一个信息检索插件和大模型结合在一起，根据用户的提示词，智能体首先通过信息检索插件检索相关的文档，再将文档连同用户原始输入作为提示词输入到大模型，从而产生更优的结果。

其中，RAG的信息检索插件可以是从互联网搜索引擎获取数据，也可以是从本地的向量数据库甚至关系数据库中检索数据。

**ART：**自动推理并使用工具（Automatic Reasoning and Tool-use），工作原理是：将人工标注好的任务库挂载到大模型，任务库即一组任务示例，包含任务目标和解决步骤。

当智能体接到一个新任务的时候，可以在任务库选择合适的示例，自动推理问题求解步骤，并在适当的位置调用外部工具，最终完成任务。

**ReAct：**即推理+行为（Reason+Act），可以让大模型以交错的方式生成推理轨迹和任务特定操作。ReAct 框架允许 LLMs 与外部工具交互来获取额外信息，从而给出更可靠和实际的回应。

Reflexion：自我反思

自我反思由三个不同的智能体组成：

**参与者（Actor）：**根据状态观测量生成文本和动作。参与者在环境中采取行动并接受观察结果，从而形成轨迹。链式思考（CoT）和 ReAct 被用作参与者模型。此外，还添加了记忆组件为智能体提供额外的上下文信息。

**评估者（Evaluator）：**对参与者的输出进行评价。具体来说，它将生成的轨迹（也被称作短期记忆）作为输入并输出奖励分数。根据人物的不同，使用不同的奖励函数（决策任务使用LLM和基于规则的启发式奖励）。

**自我反思（Self-Reflection）：**生成语言强化线索来帮助参与者实现自我完善。这个角色由大语言模型承担，能够为未来的试验提供宝贵的反馈。

自我反思模型利用奖励信号、当前轨迹和其持久记忆生成具体且相关的反馈，并存储在记忆组件中。智能体利用这些经验（存储在长期记忆中）来快速改进决策。

7.单智能体和多智能体

单智能体即一个独立的智能体，它可以自动完成相关任务。对一些比较复杂的任务，单智能体可能难以胜任。

此时，可以构建多个相互协作的智能体，共同构成一个系统来处理用户任务。

例如，考虑一个软件项目，当用户提出需求后：

1.由产品经理和用户沟通明确需求，产出产品设计文档。

2.架构师对系统进行架构设计，产出技术设计文档。

3.项目经理分派任务并跟踪进度。

4.开发人员负责编写模块代码。

5.测试人员负责编写测试用例，执行测试。

6.运维人员负责上线发布。

根据软件项目中的角色，我们可以分别构造不同角色的智能体,例如有一个产品经理智能体可以和用户沟通需求，并生成产品设计文档，另外有一个架构师智能体根据产品文档产出技术设计文档，依此类推。

让这些智能体相互协作，构成一个软件开发智能体团队，共同完成用户需求。这不是幻想，目前已经有公司在开发类似产品、进行这方面尝试了。

github上这个项目：

https://github.com/assafelovic/gpt-researcher

通过多智能体实现了一个能够根据用户提问，自动收集相关信息，规划研究计划，并产出研究报告的多智能体团队。

8.智能体开发技术框架

关于大模型智能体的开发技术架构，听的最多就是langchain，网上介绍文章也很多。

langchain是一个第三方的开源大模型应用开发框架，官方提供了python和javascript两种语言支持，其它语言也有一些开发者/组织做了移植，例如langchain4j、langchaingo。

除了langchain，还有AutoGPT，微软的AutoGen等，这些框架支持的主流开发语言大多都是python。

对于Java背景的开发人员，Java/Spring生态体系下也有SpringAI框架。

这些开发框架主要针对的是技术开发人员，有一定的学习门槛。为了降低开发成本，各大厂商纷纷推出了低代码或零代码的智能体平台，这样非技术背景的人也能很快地创建自己的智能体。

9.大模型厂商的智能体平台

国内的智能体平台主要有：

-百度旗下的文心智能体平台，提供了零代码和低代码两种开发方式，试用了一下零代码方式，创建简单的智能体还是很快的。

-字节的扣子，同样也是低代码和零代码方式，提供了知识库、插件、工作流等扩展。

-阿里旗下的智能体平台，通义星尘。可以创建角色对话智能体。暂时还未用过。

-腾讯旗下的腾讯元器。暂时还未用过。

各个厂商的智能体平台大同小异，目前已有的智能体应用都还比较简单，还没有出现杀手级智能体应用。

一方面是智能体生态还处于早期发展阶段，另一方面各个厂商为了竞争和争夺用户，匆匆推出自家产品，很多基础能力也不是很完善。

10. 总结与展望

SGLang 凭借其高性能 runtime 和强大的分布式支持能力，在快速原型开发和企业级大规模部署领域独占鳌头，尤其结合 SkyPilot 和 Kubernetes 的实战案例，充分印证了其在复杂应用场景下的卓越表现。

vLLM 和 LMDeploy 继续在 GPU 高性能推理领域保持绝对领先地位。XInference 和 LiteLLM 则凭借其灵活易用性，为开发者提供了更便捷的LLM应用开发路径。

DeepSeek AI 的 Open Infra Index，通过 FlashMLA、DeepEP 等一系列底层优化工具，为推理框架的性能提升开辟了新的道路。

大模型智能体将是下一轮技术浪潮的热点。在上一轮移动互联网浪潮中，各类移动端App如雨后春笋般冒出来，而大模型智能体也将会引发新一轮的技术变革。

如同移动时代的App逐渐取代PC时代的电脑软件一样，未来AI时代的智能体也将逐步取代移动App。