一文带你了解8 种 LLM 推理部署方案【建议收藏】

于 2025-05-10 11:12:52 发布
阅读量940 收藏 10
点赞数 29
文章标签： 搜索引擎 自然语言处理 开源 语言模型 人工智能 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48891301/article/details/147849342
版权

img

本文主要概述了一些主流的机器学习模型部署和推理服务，并总结了它们的关键特性。以下是一些值得重点考虑的要点：
1. Triton Inference Server：作为一个功能强大的平台，Triton Inference Server 可用于在生产环境中对机器学习模型进行部署和扩展。不过，设置 Triton Inference Server 的过程可能较为复杂。

2. 文本生成推理：要求原生支持 HuggingFace，并且不计划为核心模型使用多个适配器。

3. vLLM：需要以最大速度批量传递提示。

4. DeepSpeed-MII：用户具有使用 DeepSpeed 库的经验，期望继续借助该库来部署大型语言模型。

5. OpenLLM：希望将适配器连接到核心模型，并且利用 HuggingFace Agents，尤其是在不完全依赖 PyTorch 的情况下。

6. MLC LLM：适用于在客户端（如 Android 或 iPhone 等平台）上本地部署大型语言模型的场景。

7. Ray Serve：具备稳定的管道和灵活的部署方式，最适合应用于较为成熟的项目中。

8. CTranslate2：当速度是关键因素，且计划在 CPU 上运行推理任务时，CTranslate2 是一个不错的选择。
img

1、Triton 推理服务

Triton 是一个强大的平台，用于在生产环境中部署和扩展机器学习模型。设置 Triton 推理服务可能是一个复杂的过程。

Triton 支持从多个深度学习和机器学习框架部署任何 AI 模型，包括 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL 等。Triton 推理服务支持在 NVIDIA GPU、x86 和 ARM CPU 或 AWS Inferentia 上进行云、数据中心、边缘和嵌入式设备的推理。Triton的关键特性:

  • 支持各种深度学习框架
  • 同时执行
  • 动态调度和批处理
  • 后端可扩展性
  • 模型集成
  • 各种指标

2、TGI 文本生成推理

文本生成推理（简称 TGI）是一个由 HuggingFace 创建的 Rust、Python、gRPC 模型服务器，可用于托管特定的大型语言模型。文本生成推理适合部署基于 NLP 的大型语言模型，如 Falcon、LLaMA、T5 等。文本生成推理的关键特性:

  • 张量并行化
  • 优化的Transformers代码
  • 量化
  • 加速权重加载
  • Logits扭曲
  • 自定义提示生成
  • 微调支持

3、 vLLM：通用大型语言模型

vLLM 是一个高性能库，旨在用于大型语言模型的推理和服务。它以其出色的服务吞吐量、使用分页注意力进行高效内存管理，以及灵活地服务各种 Hugging Face 模型而闻名。vLLM 的关键特性:

  • 高吞吐量
  • 分页注意力（Paged Attention）
  • 连续批处理
  • 优化的 CUDA 内核
  • 解码算法
  • 张量并行
  • 流式输出

4、 DeepSpeed MII

DeepSpeed Model 实现用于推理(MII)旨在使强大模型的低延迟、低成本推理不仅可行，而且也易于访问。

DeepSpeed MII 的关键特性:

  • 用于 Transformers 的 DeepFusion
  • 多 GPU 推理与张量切片
  • 通过 ZeroQuant 进行 INT8 推理
  • 用于资源受限系统的 ZeRO 推理
  • 编译器优化

5、OpenLLM

使用 OpenLLM，您可以对任何开源大型语言模型进行推理，将它们部署在云或本地，并构建强大的 AI 应用程序。OpenLLM 的关键特性:

  • 最先进的大型语言模型
  • 灵活的 API
  • 自由构建
  • 简化部署
  • 自带大型语言模型
  • 量化
  • 流式传输
  • 连续批处理

6、 MLC LLM

大型语言模型的机器学习编译(MLC LLM)是一种高性能的通用部署解决方案，允许在各种硬件后端(包括 CPU 和 GPU)以及本机应用程序上部署任何大型语言模型。MLC LLM的关键特性:

  • 通用部署
  • 平台本地运行时
  • 内存优化

7、 Ray Serve

Ray Serve 是一个可扩展的模型服务库，用于构建在线推理 API。Serve 与框架无关，因此您可以使用单一工具包来服务从深度学习模型到传统 ML 模型的所有内容。Ray Serve的关键特性:

  • 批量推理
  • 多模型训练
  • 跨多个副本自动扩展
  • 监控仪表板和 Prometheus 指标

8、 CTranslate2

CTranslate2 是一个 C++ 和 Python库，用于高效地对 Transformer 模型进行推理。CTranslate2 的关键特性:

  • 在 CPU 和 GPU 上快速高效地执行
  • 动态内存使用
  • 支持多个 CPU 架构

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

一文读懂LLM的「幻觉」问题
女王の专属领地
01-05 3418
1、幻觉定义大模型生成看似合理的内容，其实这些内容是不正确的或者是与输入Prompt无关，甚至是有冲突的现象，即生成与用户输入不符、与先前生成的内容矛盾或与已知世界知识不符的内容。2、幻觉类型输入冲突幻觉Input-conflicting：生成的内容与用户提供的输入不符；输入冲突幻觉指的是LLM生成的内容与用户提供的源输入（①任务指示：例如用户对摘要的提示和②任务输入：例如需要摘要的文档）不一致。当LLM生成的内容偏离用户的输入时，就会出现这种幻觉。
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 5358
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
推理部署概述
吴建明wujianming_110117
02-12 924
推理部署概述 人工智能算法的重要能力，是可对未知的新数据做出预测，而所依据的则是在已知数据上训练出的模型。因为这个过程与人面对问题时依据经验思考推导后得出结论相类似，所以在人工智能领域又被称为推理（Inference）。 所以对于深度学习而言，训练和推理是两个不同的行为。将新数据输入训练得到的模型，得到输出结果，就是预测或者推理。看起来推理阶段会比训练更加简单，因为从原理上只需要对神经网络完成前向计算即可。所以对一个可支持训练的深度学习框架来讲，天然是可以完成推理计算的。在飞桨paddle下也可非常容易实现
8 种 LLM 推理部署方案
xx_nm98的博客
06-06 1214
本文是对一些主要的机器学习模型部署和推理服务的概述和关键特性总结。- 一个强大的平台，用于在生产环境中部署和扩展机器学习模型。设置 Triton Inference Server 可能是一个复杂的过程。- 需要原生支持 HuggingFace，且不打算为核心模型使用多个适配器。- 需要最大速度来批量传递提示。- 有使用 DeepSpeed 库的经验，希望继续使用它来部署大型语言模型。- 希望将适配器连接到核心模型，并利用 HuggingFace Agents，尤其是在不完全依赖 PyTorch 的情况下。
AI部署——主流模型推理部署框架
weixin_45178274的博客
08-14 1503
我们以最经典的Yolov5目标检测网络为例解释每一种推理部署框架的大概内容，省略模型训练的过程，只讨论模型转换、环境配置、推理部署等步骤。 Intel的OpenVINO — CPU OpenVINO是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，支持各种英特尔平台的硬件加速器上进行深度学习，并且允许直接异构执行。 支持在Windows与Linux系统，Python/C++语言。 首先，确保已安装OpenVINO工具包。可以从OpenVINO官网下载并安
基于MindSpore Serving部署推理服务
qq_36893844的博客
12-13 799
概述 MindSpore Serving是一个轻量级、高性能的服务模块，旨在帮助MindSpore开发者在生产环境中高效部署在线推理服务。当用户使用MindSpore完成模型训练后，导出MindSpore模型，即可使用MindSpore Serving创建该模型的推理服务。 本文以一个简单的Add网络为例，演示MindSpore Serving如何使用。 环境准备 运行示例前，需确保已经正确安装了MindSpore Serving，并配置了环境变量 导出模型. 在export_model目录下，使用add_
教你本地化部署与使用一款免费的LLM应用工程化平台
m0_63171455的博客
06-03 7095
平台已经就绪，现在需要让应用与Langfuse集成起来，以能够跟踪、评估与分析我们的应用。使用Langfuse的SDK/API，Langfuse能够与现有的任意应用做集成，但如果你的应用是基于LangChain、LlamaIndex这样的开发框架，那么使用起来会更加方便，这里先介绍与LangChain应用集成。随着LLM应用的不断成熟，特别是在B端企业场景中的逐渐落地，其不再停留在原型与验证阶段，将面临着更高的工程化要求，无论是输出的稳定性、性能、以及成本控制等，都需要实现真正的“生产就绪”；
一文带你了解LLM 网关: 关键功能、优势与架构
API
11-12 1215
LLM网关/ AI网关 是一种中间件，主要负责将用户应用程序与各种LLM服务提供商相连接。LLM 网关不仅简化了集成流程，还提供了一个统一的接口让用户能够轻松访问和管理不同的大语言模型。简单来说，LLM网关/ AI网关 的功能类似于一个服务中介，它能接收用户应用程序的请求，并对这些请求进行处理或批量操作，然后将它们发送到用户选择的AI 大模型服务提供商。当大模型处理完毕后，网关就有会收集响应，如果有需要，还会对响应进行进一步处理；最后将结果返回给最初的请求者。
LLM大模型训练/推理的显卡内存需求计算
新缸中之脑
09-23 2746
无论你是从头开始训练 LLM、对其进行微调还是部署现有模型，选择合适的 GPU 对成本和效率都至关重要。在这篇博客中，我们将详细介绍使用单个和多个 GPU 以及不同的优化器和批处理大小进行 LLM 训练和推理时 GPU 要求的所有信息。计算机处理器由多个决定性电路组成，每个电路都可以处于关闭或打开状态。就内存而言，这两种状态由 0 或 1 或位表示。一组八位称为一个字节。1 个字节可以表示零（00000000）和 255（11111111）之间的数字，或 28（等于 256 个不同位置）。
一文搞定 大语言模型（LLM）微调方法
2401_85773359的博客
08-06 1043
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。那么，今天这篇文章就带大家深入了解大模型微调。其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。在介绍大模型微调方法之前，首先带大家了解一下大语言模型的项目生命周期，它大致可以分为以下几个步骤，如下图所示：首先，明确项目目标。
一文带你了解大模型——智能体（Agent）
lvaolan8888的博客
06-19 1490
通过 API 调用 LLM 时，调用方可以描述函数，包括函数的功能描述、请求参数说明、响应参数说明，让 LLM 根据用户的输入，合适地选择调用哪个函数，同时理解用户的自然语言，并转换为调用函数的请求参数（通过 JSON 格式返回）。在角色中，会注册各种工具，定义思考规划的方式，以及本身具备的短期记忆能力。智能体 如上图所示，在基于 LLM 的智能体中，LLM 的充当着智能体的“大脑”的角色，同时还有 3 个关键部分：规划（Planning）、记忆（Memory）、工具使用（Tool use）
深度学习-45-大型语言模型LLM之本地化部署运行自己的大模型
qq_20466211的博客
04-23 1784
两个可以运行在本地的大模型工具：ollama和llama.cpp，尤其是ollama，本地跑一个大模型特别简单。无论是Ollama还是llama.cpp都是运行的量化后的模型（GGUF格式的），所以对电脑配置的要求大幅降低。
部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！
热门推荐
2201_75499313的博客
03-14 1万+
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
LLM模型部署经验分享
lewis_kai的博客
05-08 1131
至此我们的实验就已经圆满完成，在该实验中，其实最困难的就是写对文件目录，只要每条命令的文件目录信息不出错，该实验就很容易完成。
大模型推理原理及部署相关知识
tiansang1020的博客
11-14 1135
总结：大模型推理要求更高的计算、存储和内存需求，以及如何确保低延迟生成推理结果。针对特定任务训练出一个模型后，要将这个模型部署，以便和模型互动及集成模型到程序中。解决方案：RAG，可以改进两个常见问题，幻觉和知识截断。模型在NVIDIA A100 GPU中推理时的显存分布。问题描述：获取准确的和最新的知识方面存在一定的局限性。生成式AI入门与AWS实战。
企业部署 LLM 的四种方法
qq_35215756的博客
07-03 1034
除了节省微调时间外，这种知识检索技术还降低了幻觉的可能性，因为数据是在提示本身中传递的，而不是依赖于 LLM 的内部知识。因此，企业希望根据自己的数据部署 LLM，以解锁其领域中的用例（例如，基于文档和支持的客户聊天机器人、基于 IT 指令的内部聊天机器人等），或生成最新的或使用非公开信息的响应。随着 LLMOps 基础架构随着更先进的工具（如 Fiddler 的 AI 可观察性平台）和方法的发展，我们将看到更多企业采用 LLM 部署选项，这些选项可以以更经济的成本和更快的上市时间产生更高质量的 LLM。
TensorRT教程10：部署推理的基本步骤（重点）
米斯特龙的博客
07-25 2265
部署推理阶段 此阶段主要完成推理，Kernel Auto-Tuning 和 Dynamic Tensor Memory 应该是在这里完成的。先创建一个runtime对象，再将plan文件反序列化，并创建一个 runtime engine，然后就可以输入数据（比如测试集或数据集之外的图片），然后输出分类向量结果或检测结果。tensorRT的好处就是不需要安装其他深度学习框架，就可以实现部署和推理。 这个阶段需要给tensorRT提供一个标签文件（这个主要是将模型产生的数字标号分类，与真实的名称对应起来）
模型推理部署
xiaomu_347的博客
03-19 2067
TVM针对不同的深度学习框架和硬件平台，实现了统一的软件栈，以尽可能高效的方式，将不同框架下的深度学习模型部署到硬件平台上。与LLVM的架构相似，在2017年由陈天奇团队推出，和 NNVM 一起组成深度学习到各种硬件的完整优化工具链，支持手机，cuda, opencl, metal, javascript 以及其它各种后端。 如果从编译器的视角来看待如何解决这个问题，各种框架写的网络可以根据特定的规则转化成某种统一的表示形式，在统一表示的基础上进行一些可重用的图优化，之后再用不......
【24年最新】AI大模型零基础入门到精通学习资料大全，学完你就是LLM大师！
bagell的博客
08-08 713
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，
LLM 知识图谱
最新发布
03-16
### LLM与知识图谱结合的应用与实现 #### 背景介绍 大型语言模型（LLM）近年来取得了显著进展，但在实际应用场景中仍面临一些挑战，例如缺乏实时更新的知识、可解释性不足等问题。而知识图谱作为一种结构化知识表示形式，可以有效补充这些短板。 #### 方法概述 目前，将知识图谱与LLM相结合的主要方式包括三种： 1. **预训练阶段的知识注入**：通过在LLM的预训练过程中融入知识图谱的信息，使得模型能够在初始阶段就具备更强的知识基础[^1]。这种方法的核心在于设计特定的任务来引导模型学习知识图谱中的关系和实体信息。 2. **推理过程中的动态知识调用**：当LLM生成文本时，可以通过外部知识图谱查询最新的事实或领域专业知识，从而提升生成内容的准确性。这种方式特别适用于需要高精度场景下的应用。 3. **增强模型可解释性**：借助知识图谱的帮助，研究者们试图揭示为什么某个预测会被做出以及它是如何基于已知的事实得出结论的。这种透明度对于医疗诊断或者法律咨询等领域尤为重要。 #### 技术细节 为了进一步探讨两者之间的协作机制，“知识增强型语言模型”(Knowledge-Enhanced Language Model, KELM)被提出作为解决方案之一[KELM][^2]。该方案强调在整个生命周期——从参数初始化直到最终部署期间持续不断地吸收来自KG的新鲜养分；具体而言，在架构层面增加了专门用于处理节点特征向量映射的功能模块，并调整注意力权重计算逻辑以便优先考虑那些具有较高置信水平的关系链接。 另外值得注意的是，《知识图谱大模型系列之 08 如何在企业级实现知识图谱和大型语言模型 (LLM)》一文中提到的实际操作指南也提供了宝贵的参考资料[^3]。它不仅涵盖了理论框架构建思路还给出了具体的工程实践指导比如采用Streamlit这样的工具快速搭建原型系统验证想法可行性等等。 以下是简单的伪代码展示如何可能在一个项目里集成这两种技术： ```python def integrate_kg_with_llm(knowledge_graph, llm_model): """ Integrate Knowledge Graph with Large Language Model. Args: knowledge_graph (dict): A dictionary representing the structure of KG. llm_model (object): Pre-trained large language model instance. Returns: object: Enhanced version of original LLM incorporating KG info. """ enhanced_model = None # Step to inject KG into pre-training phase or adjust inference logic accordingly... try: pass except Exception as e: print(f"Error occurred during integration process:{e}") finally: return enhanced_model ``` 以上仅为示意性质并不代表真实可用算法，请根据实际情况修改完善后再投入使用！ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值