安装 TensorRT

最新推荐文章于 2024-06-27 17:46:28 发布

路人与大师

最新推荐文章于 2024-06-27 17:46:28 发布

阅读量1.9k

点赞数 16

文章标签： python

本文链接：https://blog.csdn.net/weixin_41046245/article/details/135114047

版权

本文详细介绍了如何在不同平台上安装TensorRT，包括容器安装（如NVIDIANGCVMI）、Debian安装（开发人员和完整运行时）以及通过Python包索引安装。提供了逐步教程和注意事项，确保正确配置CUDA和cuDNN支持。

摘要由CSDN通过智能技术生成

从 Python 包索引安装 TensorRT 时，不需要从、或包安装 TensorRT。所有必需的库都包含在 Python 中包。但是，头文件，如果要访问不包括TensorRT C++ API或编译用C++编写的插件。此外，如果您已经安装了 TensorRT C++ 库，请使用 Python 包索引版本将安装此库的冗余副本，该库可能不可取。有关如何手动操作的信息，请参阅 tar 文件安装安装不捆绑 C++ 库的 TensorRT 轮。您可以在以下时间后停止如果您只需要 Python 支持，则此部分。.tar.deb.rpm

Python wheel 文件仅支持 Python 版本 3.6 到 3.11 目前不适用于其他 Python 版本。只有 Linux 目前支持操作系统和x86_64 CPU 架构。这些 Python wheel 文件应适用于 CentOS 7 或更高版本以及 Ubuntu 18.04 或更高版本。虽然 tar 文件安装支持多个 CUDA 版本，但 Python 包在此版本中，索引安装不支持 CUDA 12.x，仅支持 CUDA 12.x。tensorrt

注意：如果您没有 root 访问权限，您正在 Python 虚拟之外运行环境，或者出于任何其他原因，您希望用户安装，然后追加到任何命令提供。--userpip

安装 TensorRT Python 轮。
```
python3 -m pip install --upgrade tensorrt
```
上面的命令将拉入所有必需的 CUDA 来自 PyPI 的 Python wheel 格式的库和 cuDNN，因为它们是 TensorRT Python wheel 的依赖关系。此外，如果您有以前的已安装的版本。piptensorrt
TensorRT Python Package Index 安装拆分为多个模块：
- TensorRT 库（tensorrt_libs)
- 与正在使用的 Python 版本匹配的 Python 绑定 (tensorrt_bindings)
- 前端源码包，它拉入正确版本的依赖于 pypi.nvidia.com 的 TensorRT 模块 (tensorrt)
（可选）安装 TensorRT 精益或调度运行时轮，它们是同样拆分为多个 Python 模块。如果您只使用 TensorRT 要运行预构建版本兼容的引擎，您可以安装这些轮子无需安装常规 TensorRT 轮子。
```
python3 -m pip install --upgrade tensorrt_lean
python3 -m pip install --upgrade tensorrt_dispatch

```

若要验证安装是否正常工作，请使用以下 Python 命令自：

导入 Python 模块。tensorrt
确认 TensorRT 的正确版本已安装。
创建一个对象来验证您的 CUDA 安装正在工作。Builder

<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3
>>> import tensorrt
>>> print(tensorrt.__version__)
>>> assert tensorrt.Builder(tensorrt.Logger())
</span></span></span></span>

使用类似的过程来验证精益和调度模块是否作为预期：

<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">python3
>>> import tensorrt_lean as trt
>>> print(trt.__version__)
>>> assert trt.Builder(trt.Logger())

python3
>>> import tensorrt_dispatch as trt
>>> print(trt.__version__)
>>> assert trt.Builder(trt.Logger())
</span></span></span></span>

如果最终 Python 命令失败并显示类似于错误的错误消息消息，那么您可能没有安装 NVIDIA 驱动程序或 NVIDIA驱动程序可能无法正常工作。如果你在容器，然后尝试从其中一个容器开始。nvidia/cuda:x.y-base-<os>

<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#eaefe0"><span style="color:#224400">[TensorRT] ERROR: CUDA initialization failure with error 100. Please check your CUDA installation: ...</span></span></span></span>

如果前面的 Python 命令有效，那么您现在应该能够运行任何 TensorRT Python 示例，以进一步确认您的 TensorRT 安装正在工作。有关 TensorRT 示例的更多信息，请参阅转到 NVIDIA TensorRT 示例支持指南。

路人与大师

关注

16
点赞
踩
24

收藏

觉得还不错? 一键收藏
0
评论
安装 TensorRT

此外，如果您已经安装了 TensorRT C++ 库，请使用 Python 包索引版本将安装此库的冗余副本，该库可能不可取。上面的命令将拉入所有必需的 CUDA 来自 PyPI 的 Python wheel 格式的库和 cuDNN，因为它们是 TensorRT Python wheel 的依赖关系。此外，如果您有以前的已安装的版本。如果前面的 Python 命令有效，那么您现在应该能够运行任何 TensorRT Python 示例，以进一步确认您的 TensorRT 安装正在工作。
复制链接

扫一扫