TensorRT-LLM+ChatGLM/Qwen推理部署

已于 2024-05-03 11:14:14 修改
阅读量3k 收藏 27
点赞数 23
分类专栏： 问题记录 模型部署 文章标签： 语言模型 llama pytorch
于 2024-05-03 02:34:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anycall201/article/details/138373712
版权

文章目录

一、背景

LLM模型训练完毕、部署在线上进行使用时，遇到的一大难题是并发问题。

以单个模型为例，当模型进行计算时至少要花6、7秒甚至更多。这导致，如果这时有一个新的请求给到模型，模型需要等上一个请求计算完毕才能进行新的计算。

如果一个基于大模型的线上服务，其峰值并发访问量会达到几千、几万，从成本的角度考虑，也不可能同时部署这么多个模型来支持这样的访问量。

另一方面，从理论上来说，LLM模型都是多层transformer block。当前层block计算完毕后，即使最终结果仍为给出，但当前层已处于闲置状态，如果这时把新的请求给到当前层进行计算，也不会对上一个请求的计算结果产生干扰。因此，从理论角度，模型的推理加速是有可行性的。

基于此理论，Nvidia官方则推出了的模型部署方案TensorRT-LLM。

二、部署流程

使用TensorRT-LLM部署大模型需要以下几步：

  1. 安装TensorRT-LLM
  2. 启动容器
  3. 安装python依赖
  4. 转化模型格式
  5. 运行/部署

下面将依次介绍这些流程具体实施方案。

三、安装TensorRT-LLM

结合自己的显卡驱动版本，从官网拉取合适的docker镜像。
https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorrt/tags
我的驱动版本为：Driver Version: 530.30.02 CUDA Version: 12.1
我拉取的版本为：24.03-py3

注意：

  1. 早期，官方未提供镜像的时，需要从github拉取源码+cmake本地编译完成安装，这也是其他博客、教程中主要使用的方式。
  2. 但这一方式的缺点是需要预装很多环境，且编译过程非常耗时(几个小时)。
    并且，若服务器本身无法连上境外网站(比如github)时，需要先下载到本地再上传至服务器，过程非常繁琐。
  3. 因此，强烈推荐大家直接拉取镜像即可。另外，若docker版本低于19.02，其pull命令会略有不同，详情请在官网中查看。

四、启动容器

使用以下指令启动容器

docker run \
  --gpus all
最低0.47元/天 解锁文章
用TensorRT-LLM进行LLama的推理和部署
smartcat2010的博客
06-17 1269
再用TensorRT-LLM将其compile为TensorRT engine；然后可用TensorRT-LLM的C++ runtime来跑推理（或者模型放到Triton Repo上，并指定TensorRT-LLM为backend）Input的Tokenizing和Output的De-Tokenizing，视作前处理、后处理，创建"Python Model"；整个流程用一个"Ensemble Model"来表示，包含以上两个"Model"以及真正的GPT-Model;
TensorRT + LLM 多模态推理协同部署：高吞吐 × 精度稳定的系统级方案
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-12 932
多模态系统正在成为 AI 应用的主流架构，如何将语言大模型（LLM）与视觉模型（如 CLIP、BLIP、SAM、YOLO）协同部署，是落地 AI Agent、VQA 系统、文图检索、场景分析的关键。 > 本文将从工程角度深入讲解如何使用 TensorRT 构建多模型异构部署体系，支持 LLM 与视觉模型协同调度，包括：多后端模型分发、动态任务图管理、显存隔离与上下文共享、异步管线执行、跨模型 Plugin 复用等能力。最终构建一个**具备高性能、可扩展、稳定性的多模态智能引擎
使用NVIDIA/TensorRT-LLM 量化qwen/Qwen-1_8B-Chat
TuringEvo专栏
04-19 662
3 构建 TRT-engine。2 转换为checkpoint。1 命令行配置环境变量。4 运行量化模型推理。
NVIDIA TensorRT-LLM：高性能大语言模型推理框架详解
专注于人工智能领域的小何尚
03-24 683
TensorRT-LLM 是一个为大语言模型推理优化的工具箱，它建立在 NVIDIA 的 TensorRT 基础上，专门针对 Transformer 架构的语言模型进行了深度优化。高性能推理：通过 CUDA 内核优化、混合精度计算和高效内存管理，实现低延迟、高吞吐量的推理易用的 API：提供简洁的 Python API，简化模型定义和推理过程灵活的部署选项：支持单 GPU 和多 GPU 分布式推理广泛的模型支持。
0741-极智开发-解读cmake编译分享
03-06
0741_极智开发_解读cmake编译分享
# 使用 NVIDIA TensorRT-LLM 调整和部署 LoRA & LLM
专注于人工智能领域的小何尚
04-07 1745
LoRA是一种微调方法，它将低秩矩阵引入到LLM架构的每一层中，并且仅训练这些矩阵，同时保持原始LLM权重冻结。它是 NVIDIA NeMo 支持的 LLM 定制工具之一。LLM 功能强大，但通常需要定制，尤其是在用于企业或特定领域的用例时。有许多调整选项，从简单的提示工程到监督微调 (SFT)。调整选项的选择通常基于所需数据集的大小（即时工程的最小值，SFT 的最大值）和计算可用性。LoRA 调优是一种称为参数高效微调 (PEFT) 的调优系列。这些技术是一种中间方法。
【大模型实战篇】利用TensorRT LLM部署及推理大模型实战（bloom560m、chatglm-6b等大模型）
源泉的小广场
11-27 1597
大模型、llm、大模型部署、大模型推理、tensorrt-llm、tensorrt、推理加速、bloom560m、chatglm-6b、tensorrt engine
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理
吃果冻不吐果冻皮
12-04 3184
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。：使用模型来总结 CNN Dailymail 数据集中的文章。：将HF格式的模型进行转换。支持 FP16支持 INT8 & INT4 仅权重量化支持 INT8 KV CACHE 量化支持SmoothQuant 量化支持张量并行大模型量化概述进行过简要概述，后续有时间更详细的梳理常见的一些大模型量化技术。
使用TensorRT-LLM部署Qwen2模型推理服务
11-28 1711
本文以Qwen2-1.5B-Instruct模型、GPU类型为A10卡为例，演示如何在ACK中使用Triton推理服务 + TensorRT-LLM部署通义千问模型推理服务。模型部署过程中使用Fluid Dataflow完成模型准备工作，并使用Fluid提升模型加载速度。
大模型(LLM)推理框架汇总
mama19971023的博客
08-07 1895
MLC LLM大模型(LLM)好性能通用部署方案，陈天奇(tvm发起者)团队开发.项目链接支持的平台和硬件支持的模型| — | — |LlamaGPT-NeoXRedPajamaGPT-JRWKVRWKV-ravenMiniGPTGPTBigCodeChatGLMChatGLM接口API 支持量化(Quantization) 方法支持其他。
LLM大模型落地-从理论到实践
m0_70839135的博客
07-11 1202
按个人偏好和目标总结了学习目标和路径（可按需学习），后续将陆续整理出相应学习资料和资源。
TensorRT-LLM——优化大型语言模型推理以实现最大性能的综合指南
知来者逆的博客
09-17 2681
TensorRT-LLM 允许您使用简单的 Python API 定义 LLM。该 API 构建一个图形表示模型，使其更容易管理 GPT 或 BERT 等 LLM 架构中涉及的复杂层。
用TensorRT-LLM跑通chatGLM_6B模型
weixin_51954774的博客
02-24 692
用TensorRT-LLM跑通chatGLM_6B模型
TensorRT-LLM & Triton Server 部署过程记录
技术分享，读书笔记，面试宝典，算法积累，应有尽有～
10-15 2123
虽然理论上 Docker 方式部署不是必须，但在实践中发现如果不使用官方镜像，在配置 TRT 和 NTIS 环境的时候会出现各种由于版本 mismatch 的编译错误，比如 mpi4py api 的编译过程中，由于我们服务器的 os 版本（ubuntu24.04）与 os 对应的 openmpi 版本（4.1.6）超前导致编译失败等类似情况（在这个过程中就花费了大量的时间成本）。还是以上面的场景举例，假设当前过去了 3s，request_a 已经完成， request_b 仍需 97s 完成。
TensorRT-LLM：LLM API 精简指令畅享卓越性能！
NVIDIA_Community的博客
02-05 1010
直接从 Hugging Face 模型库下载模型，例如 TinyLlama/TinyLlama-1.1B-Chat-v1.0。本地 Hugging Face 模型：使用已下载到本地的 Hugging Face 模型。本地 TensorRT-LLM 引擎：使用通过 trtllm-build 工具构建或由 Python LLM API 保存的 Engine。您可以使用 LLM(model=<any-model-path>) 构造函数来灵活切换这些格式。以下各节将详细介绍具体使用方法。
大模型推理框架（四）TensorRT-LLM
深数研究院
01-04 948
TensorRT-LLM是 NVIDIA 提供的一个用于优化大型语言模型（LLMs）在 NVIDIA GPU 上的推理性能的开源库。它通过一系列先进的优化技术，如量化、内核融合、动态批处理和多 GPU 支持，显著提高了 LLMs 的推理速度，与传统的基于 CPU 的方法相比，推理速度可提高多达 8 倍；
模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理
ljp1919的专栏
12-23 1483
其实小编之前有介绍过关于如何用TensorRT提升模型推理速度，感兴趣的小伙伴可以回顾下：TensorRT-LLM 是一个开源库，用于定义、优化和执行大型语言模型 (LLM) 在生产环境的推理。它在开源 Python API 中保留了 FasterTransformer 的核心功能，并与 TensorRT 的深度学习编译器配合使用，以快速支持新模型和定制模型。
TensorRT-llm入门
weixin_40777649的博客
05-13 2337
3. int8-kv-cache量化: KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。最先进的量化方法，如SmoothQuant和AWQ，在量化造成的性能损失适中时，可以有效提升性能。1. 模型量化 参考：https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/qwen。对于伦理任务，小型模型对量化的敏感性更高。
TensorRT与LLM完美结合：保姆级教程带你飞
2401_84204413的博客
12-09 1734
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。Bloom 示例中主要文件：build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。summarize.py：使用模型来总结 CNN Dailymail 数据集中的文章。hf_bloom_convert.py：将HF格式的模型进行转换。TensorRT-LLM 中，目前针对 Bloom 模型支持的特性如下：支持 FP16支持 INT8 & INT4 仅权重量化。
Cherry Studio 调用本地部署的大模型
02-21
<think>好的，用户让我介绍一下Cherry Studio如何调用本地部署的大模型。首先，我需要确认Cherry Studio是什么，可能是一个本地化的AI开发工具或者平台。用户可能是在寻找如何在自己的环境中部署大模型，比如LLM，并且通过Cherry Studio来调用它们。 接下来，我需要考虑用户可能的背景。他们可能是开发者或者企业用户，想要在本地运行大模型，可能是出于数据隐私、安全性或网络延迟的考虑。因此，用户的需求可能包括如何安装配置Cherry Studio，如何连接本地模型，以及可能遇到的常见问题。 需要分步骤解释：首先介绍Cherry Studio的基本功能，然后说明本地部署大模型的步骤，包括模型下载、环境配置、接口设置等。可能还需要提到支持的模型框架，比如Hugging Face的Transformers，或者Llama.cpp等。另外，要强调安全性和离线使用的优势，以及性能优化的方法，比如GPU加速。 用户可能还会关心API接口的具体调用方式，比如REST API或Python SDK，以及如何进行测试和调试。可能存在的误区是用户以为本地部署复杂，需要简化步骤说明，让用户有信心去尝试。 还要检查是否有遗漏的信息，比如是否需要特定硬件要求，或者操作系统兼容性。可能需要提醒用户注意模型文件的大小和内存需求，避免运行时出现问题。 最后，总结Cherry Studio的优势，比如用户友好的界面、灵活的配置，以及适合企业的解决方案。确保回答结构清晰，步骤详细，同时语言简洁，避免技术术语过多，让不同技术背景的用户都能理解。</think>Cherry Studio 是一个本地化的大模型（如LLM）开发和部署工具，支持在私有化环境中调用和管理大模型。以下是如何通过 **Cherry Studio 调用本地部署大模型**的关键步骤和介绍： --- ### **1. Cherry Studio 的核心功能** - **本地化部署**：模型和数据完全运行在本地服务器，避免数据外泄，适合金融、医疗等敏感领域。 - **多框架支持**：兼容 Hugging Face Transformers、Llama.cpp、vLLM 等主流模型框架。 - **可视化界面**：提供模型管理、API 调试、监控等功能，降低使用门槛。 - **高性能推理**：支持 GPU 加速、模型量化等技术，优化本地资源利用率。 --- ### **2. 调用本地大模型的步骤** #### **步骤 1：部署大模型** - **选择模型**：下载模型文件（如 Llama3、Qwen、ChatGLM 等），通常为 `.bin` 或 `.gguf` 格式。 - **环境配置**：安装依赖（如 Python、PyTorch/CUDA），通过 Hugging Face 或 Ollama 等工具加载模型。 - **启动模型服务**：将模型封装为 API 服务（如 FastAPI），开放本地端口（如 `http://localhost:8000`）。 #### **步骤 2：配置 Cherry Studio** - **连接本地模型**：在 Cherry Studio 中添加模型，填写 API 地址和认证信息（如 API Key）。 - **设置推理参数**：调整温度（temperature）、最大生成长度（max_tokens）等超参数。 - **测试模型**：通过内置的 Playground 输入文本，实时查看生成效果。 #### **步骤 3：集成到应用** - **API 调用**：通过 RESTful API 或 Python SDK 调用本地模型： ```python import requests response = requests.post( "http://localhost:8000/generate", json={"prompt": "你好，介绍一下上海", "max_tokens": 500} ) print(response.json()["result"]) ``` - **业务对接**：将模型集成到企业内部的聊天机器人、数据分析等场景。 --- ### **3. 优势与适用场景** - **数据安全**：无需依赖 OpenAI 等云端服务，满足 GDPR 或网络安全法要求。 - **定制化**：支持微调（Fine-tuning）本地模型，适配垂直领域需求（如法律、客服）。 - **离线可用**：无网络环境下仍可运行，适合内网或隔离环境。 --- ### **4. 常见问题** - **硬件要求**：大模型需要较高显存（如 7B 模型需 10GB+ GPU），可选用量化版本降低资源消耗。 - **性能优化**：使用 vLLM 加速推理，或通过 TensorRT 编译模型提升吞吐量。 - **错误排查**：检查端口冲突、依赖版本兼容性，查看 Cherry Studio 的日志输出。 -- 通过 Cherry Studio，企业可以高效管理本地大模型，平衡生成式 AI 的能力与数据隐私需求。如果需要具体模型的部署示例（如 Llama3 或通义千问），可以进一步提供细节！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Anycall201

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值