安装 TensorRT
有关安装 TensorRT 的其他方法,请参阅 NVIDIA TensorRT 安装指南。
对于已经熟悉 TensorRT 并希望获得 应用程序快速运行,谁正在使用 NVIDIA CUDA® 容器 包含 cuDNN 的情况下,或者想要设置自动化,请按照网络存储库安装 说明(请参阅使用 NVIDIA 机器学习网络存储库 Debian 安装)。
2.1. 容器安装
在每个主要的云提供商上,NVIDIA 都会发布定制的 GPU 优化虚拟 定期更新操作系统和驱动程序的计算机映像 (VMI)。这些 VMI 已优化 在最新一代 NVIDIA GPU 上的性能。使用这些 VMI 部署 NGC 云托管虚拟机实例上的托管容器、模型和资源 H100、A100、V100 或 T4 GPU 确保深度学习、机器的最佳性能 学习和 HPC 工作负载。
要在公有云上部署 TensorRT 容器,请按照与 NGC 认证的公有云平台关联的步骤操作。
2.2. Debian 安装
对于已经熟悉 TensorRT 并希望获得 应用程序运行快速,使用包含 cuDNN 的 NVIDIA CUDA 容器, 或者想要设置自动化,请按照网络存储库安装说明进行操作 (请参阅在 Debian 上使用 NVIDIA CUDA 网络存储库 安装)。
- CUDA 11.0 更新 1、11.1 更新 1、11.2 更新 2、11.3 更新 1、11.4 更新 4、11.5 更新 2、11.6 更新 2、11.7 更新 1、11.8、12.0 更新 1 或 12.1 更新 1
- cuDNN 8.9.0(精益不需要 或分派运行时安装。
- 根据 CUDA 安装说明安装 CUDA。
- 如果适用,请根据 cuDNN 安装说明安装 cuDNN。
- 下载 TensorRT 本地存储库文件 与您正在使用的 Ubuntu 版本和 CPU 体系结构相匹配。
- 从 Debian 本地存储库软件包安装 TensorRT。将 ubuntuxx04、8.x.x 和 cuda-x.x 替换为您的特定操作系统版本、TensorRT 版本、 和 CUDA 版本。
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">os="ubuntuxx04" tag="8.x.x-cuda-x.x" sudo dpkg -i nv-tensorrt-local-repo-${os}-${tag}_1.0-1_amd64.deb sudo cp /var/nv-tensorrt-local-repo-${os}-${tag}/*-keyring.gpg /usr/share/keyrings/ sudo apt-get update </span></span></span></span>
对于完整运行时
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">sudo apt-get install tensorrt</span></span></span></span>
仅适用于精益运行时,而不是tensorrt
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">sudo apt-get install libnvinfer-lean8 sudo apt-get install libnvinfer-vc-plugin8</span></span></span></span>
对于精益运行时 Python 包
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">sudo apt-get install python3-libnvinfer-lean</span></span></span></span>
对于调度运行时 Python 包
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">sudo apt-get install python3-libnvinfer-dispatch</span></span></span></span>
对于所有 TensorRT Python 软件包
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3 -m pip install numpy sudo apt-get install python3-libnvinfer-dev </span></span></span></span>
将安装以下附加软件包:<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3-libnvinfer python3-libnvinfer-lean python3-libnvinfer-dispatch </span></span></span></span>
如果要安装用于精益或调度的 Python 包 仅限运行时,单独指定这些内容,而不是 安装软件包。dev
如果要将 TensorRT 与 UFF 转换器一起使用来转换模型 与TensorFlow相比
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3 -m pip install protobuf sudo apt-get install uff-converter-tf</span></span></span></span>
该套餐也将是 使用此命令安装。graphsurgeon-tf
如果要运行需要或使用 Python 模块的示例 您自己的项目onnx-graphsurgeon
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3 -m pip install numpy onnx sudo apt-get install onnx-graphsurgeon</span></span></span></span>
- 验证安装。
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">dpkg-query -W tensorrt</span></span></span></span>
您应该看到类似于 以后:<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">tensorrt 8.6.1.x-1+cuda12.0</span></span></span></span>
2.3. Python 软件包索引安装
从 Python 包索引安装 TensorRT 时,不需要 从 、 或 包安装 TensorRT。所有必需的库都包含在 Python 中 包。但是,头文件,如果要访问 不包括TensorRT C++ API或编译用C++编写的插件。 此外,如果您已经安装了 TensorRT C++ 库,请使用 Python 包索引版本将安装此库的冗余副本,该库 可能不可取。有关如何手动操作的信息,请参阅 tar 文件安装 安装不捆绑 C++ 库的 TensorRT 轮。您可以在以下时间后停止 如果您只需要 Python 支持,则此部分。.tar.deb.rpm
- 安装 TensorRT Python 轮。
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3 -m pip install --upgrade tensorrt</span></span></span></span>
上面的命令将拉入所有必需的 CUDA 来自 PyPI 的 Python wheel 格式的库和 cuDNN,因为它们是 TensorRT Python wheel 的依赖关系。此外,如果您有以前的 已安装的版本。piptensorrt
TensorRT Python Package Index 安装拆分为多个 模块:- TensorRT 库 (tensorrt_libs)
- 与正在使用的 Python 版本匹配的 Python 绑定 (tensorrt_bindings)
- 前端源码包,它拉入正确版本的 依赖于 pypi.nvidia.com 的 TensorRT 模块 (tensorrt)
(可选)安装 TensorRT 精益或调度运行时轮,它们是 同样拆分为多个 Python 模块。如果您只使用 TensorRT 要运行预构建版本兼容的引擎,您可以安装这些轮子 无需安装常规 TensorRT 轮子。<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3 -m pip install --upgrade tensorrt_lean python3 -m pip install --upgrade tensorrt_dispatch </span></span></span></span>
- 若要验证安装是否正常工作,请使用以下 Python 命令 自:
- 导入 Python 模块。tensorrt
- 确认 TensorRT 的正确版本已 安装。
- 创建一个对象来验证您的 CUDA 安装正在工作。Builder
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3 >>> import tensorrt >>> print(tensorrt.__version__) >>> assert tensorrt.Builder(tensorrt.Logger()) </span></span></span></span>
使用类似的过程来验证精益和调度模块是否作为 预期:<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3 >>> import tensorrt_lean as trt >>> print(trt.__version__) >>> assert trt.Builder(trt.Logger()) python3 >>> import tensorrt_dispatch as trt >>> print(trt.__version__) >>> assert trt.Builder(trt.Logger()) </span></span></span></span>
如果最终 Python 命令失败并显示类似于错误的错误消息 消息,那么您可能没有安装 NVIDIA 驱动程序或 NVIDIA驱动程序可能无法正常工作。如果你在 容器,然后尝试从其中一个容器开始。nvidia/cuda:x.y-base-<os><span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">[TensorRT] ERROR: CUDA initialization failure with error 100. Please check your CUDA installation: ...</span></span></span></span>
如果前面的 Python 命令有效,那么您现在应该能够运行 任何 TensorRT Python 示例,以进一步确认您的 TensorRT 安装正在工作。有关 TensorRT 示例的更多信息,请参阅 转到 NVIDIA TensorRT 示例支持 指南。