Torch-TensorRT针对 NVIDIA GPU 的 PyTorch 推理代码的框架内编译In-framework compilation

Torch-TensorRT

针对 NVIDIA GPU 的 PyTorch 推理代码的框架内编译

Torch-TensorRT 是 PyTorch 的推理编译器，通过 NVIDIA 的 TensorRT 深度学习优化器和运行时针对 NVIDIA GPU。它通过接口支持即时 (JIT) 编译工作流程torch.compile，也支持提前 (AOT) 工作流程。Torch-TensorRT 无缝集成到 PyTorch 生态系统中，支持混合执行优化的 TensorRT 代码和标准 PyTorch 代码。

更多信息/系统架构：

• Torch-TensorRT 2.0

入门

• 安装

用户指南

• Torch-TensorRT 详解

• 使用 Torch-TensorRT 的动态形状

• 训练后量化（PTQ）

• 保存使用 Torch-TensorRT 编译的模型

• 部署 Torch-TensorRT 程序

• 国防后勤局

• 使用 Torch-TensorRT 编译混合精度模型

教程

• Torch 编译高级用法

• 使用 Torch-TensorRT 部署量化模型

• 引擎缓存

• 引擎缓存 (BERT)

• 使用新权重重新调整 Torch-TensorRT 程序

• 使用 Triton 提供 Torch-TensorRT 模型

• 使用 Cudagraphs 导出 Torch

• 使用自定义转换器重载 Torch-TensorRT 转换器

• 在 TensorRT 引擎中使用 Torch-TensorRT 中的自定义内核

• 可变 Torch TensorRT 模块