膳逸：使用NVIDIA TensorRT-LLM部署ChatGLM3

使用NVIDIA TensorRT-LLM部署ChatGLM3

引用 ChatGLM3/tensorrt_llm_demo/README.md at main · THUDM/ChatGLM3 · GitHub

TensorRT-LLM简介

TensorRT-LLM是一个易于使用的Python API，用于定义大型语言模型（LLMs）并构建包含最先进优化技术的TensorRT引擎，以在NVIDIA GPU上高效地进行推理。TensorRT-LLM包含用于创建Python和C++运行时的组件，这些运行时可以执行这些TensorRT引擎。它还包括一个后端，用于与NVIDIA Triton推理服务器集成，这是一个用于服务LLMs的生产质量系统。使用TensorRT-LLM构建的模型可以在从单个GPU到多个节点的多GPU配置（使用张量并行和/或流水线并行）上执行。

TensorRT-LLM Python API架构

TensorRT-LLM的Python API架构类似于PyTorch API。它提供了一个功能模块，包含诸如einsum、softmax、matmul或view等函数。layers模块捆绑了组装LLMs的有用构建块，如Attention块、MLP或整个Transformer层。模型特定的组件，如GPTAttention或BertAttention，可以在models模块中找到。

预定义模型

TensorRT-LLM附带了几个流行的预定义模型。这些模型可以轻松修改和扩展以满足自定义需求。请参阅支持矩阵以获取支持的模型列表。

性能优化和量化模式

为了最大化性能并减少内存占用，TensorRT-LLM允许使用不同的量化模式执行模型（请参阅支持矩阵）。TensorRT-LLM支持INT4或INT8权重（和FP16激活，即所谓的INT4/INT8权重模式）以及SmoothQuant技术的完整实现。

主要功能

• 高效推理：利用最先进的优化技术在NVIDIA GPU上高效地进行推理。
• 灵活的API：类似于PyTorch的API架构，易于使用和集成。
• 多种量化模式：支持INT4、INT8权重和FP16激活，以最大化性能和减少内存占用。
• 多GPU支持：支持从单个GPU到多节点多GPU配置的执行。
• 与Triton集成：可以与NVIDIA Triton推理服务器集成，提供生产质量的推理服务。

示例代码

TensorRT-LLM是NVIDIA开发的高性能推理框架，您可以按照以下步骤来使用TensorRT-LLM部署ChatGLM3模型。

1. 安装TensorRT-LLM

获取TensorRT-LLM代码：

# TensorRT-LLM 代码需要使用 git-lfs 拉取
apt-get update && apt-get -y install git git-lfs

git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# 本流程将使用 v0.7.0 Release 版本
git checkout tags/v0.7.0 -b release/0.7.0
git submodule update --init --recursive