tensorrt安装与使用踩坑

最新推荐文章于 2024-04-30 19:24:04 发布
最新推荐文章于 2024-04-30 19:24:04 发布
阅读量3.1k 收藏 9
点赞数 2
分类专栏： 深度学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39494688/article/details/119610636
版权

TensorRT的安装

首先根据自己的CUDA版本去英伟达官网下载对应的TensorRT安装包

官网地址：https://developer.nvidia.com/nvidia-tensorrt-download
简单的注册，填写一些问题之后就可以下载了。

根据操作系统的不同，自行选择ubantu，centos，windows版本的安装包哦

对于要将tensorrt安装在anaconda环境中的需求。我这边是centos7系统。以下是安装流程：

  1. 选择tar.gz后缀的安装包来下载。在这里插入图片描述

  2. 上传至linux系统某目录下 /home/test/

  3. 选择一个目录进行解压： tar -zxvf name.tar.gz

  4. 进入解压后的目录： cd TensorRT-5.1.5.0

  5. 在python目录下找到与自身python版本对应的.whl后缀文件。在这里插入图片描述

  6. 使用pip 进行安装即可。在这里插入图片描述

  7. 后面可以在envs/环境名/lib/site-packages中查看到；

对于win10系统的Tensorrt的安装。

  1. 选择.zip后缀的安装包来下载。

  2. 解压之后进入到目录下在这里插入图片描述

  3. 进入到lib中，将里面所有的dll后缀文件复制到cuda根目录下的/bin文件中。路径一般都是
    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin

  4. 用Visual Studio2019打开TensorRT-5.1.5.0\samples\sampleMNIST\目录下的sample_mnist.sln文件。

  5. 在项目->属性中修改参数
    VC++目录 -> 常规 -> 可执行文件目录
    C/C++ -> 常规 -> 附加包含目录
    上面两项编辑添加 ：root_path\TensorRT-5.1.5.0\lib
    链接器 -> 输入 -> 附加依赖项
    这里编辑添加： root_path\TensorRT-5.1.5.0\lib\nvinfer.lib

  6. 生成解决方案。在这里插入图片描述

  7. 在TensorRT-5.1.5.0\bin目录下可以看到sample_mnist.exe文件，双击执行。

  8. 执行结果。
    在这里插入图片描述
    报这种错是因为cuda的问题，不是版本的问题，是要再下载一个更新包。地址如下：
    https://developer.nvidia.com/cuda-10.1-download-archive-update1
    直接安装就行，安装之后，要记得重复步骤3去将dll文件复制过去。
    完成上述步骤之后，再双击sample_mnist.exe文件即可运行成功。
    在这里插入图片描述
    出现这张图就代表MNIST字体识别测试成功。

对于win10系统的Tensorrt的使用。

在root_path\bin目录下还有一个文件，trtexec.exe。
以静态输入形状的全维模式运行 ONNX 模型：

.\trtexec.exe --onnx=JDE.onnx

用onnx模型生成trt。

.\trtexec.exe --onnx=JDE.onnx --saveEngine=JDE.trt

在linux系统上导入tensorrt包报错，主要原因

版本不对，要查询号自己系统上CUDA和cudnn的版本，选择正确的安装包才行。
再有就是有些低版本的tensorrt不支持py3.x版本，需要更改为python2才行。

使用tensorrt构建engine时报错NoneType’ object has no attribute 'serialize,

如果确认不是版本或者环境的错误，那有可能是不支持FP16。需要将原来的
在这里插入图片描述
改为False。

小二焦
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
TensorRT-8.0.1.6.Windows10.x86_64.cuda-11.3.cudnn8.2.zip（官网下载）
11-26
这是NVIDIA官网下载的。下载前请确认版本号。
TensorRT运行官方案例Mnist时提示找不到dll文件，cuda、cudnn、TensorRT的环境变量的问题，TensorRT运行时默认会到lib下去找要的文件
qq_45380853的博客
03-17 2543
接另一篇“无法打开输入文件cudnn.lib”的文章哈，目前是已经在官方的案例代码Mnist上生成了解决方案，接下来就该运行代码了，这…可这个时候又又又又又又报了错： 根据报错信息，也是无法打开.dll文件，结论为： 是环境变量的问题，或者说是需要的文件没有在环境变量指定的那个文件夹内 和上一篇有异曲同工之妙 我搜了下，原来需要的这几个文件（比如nvinfer.dll等）都在cuda的安装目录下的bin文件夹下，所以我采用了暴力解决法，直接将cuda安装目录的bin文件夹下的所有dll文件都复制粘贴到了T
【YoloX部署——配置cuda10.2 cudnn8.1 tensorrt7.2.3-onnx转trt】
MITA1的博客
02-12 1423
cmd中切换到D:\TensorRT-7.2.3.4\bin路径下，运行trtexec.exe，传入–onnx、 --saveEngine、–device参数（–onnx是存放要转换的onnx的路径名称，–saveEngine是要保存的trt模型路径名）。源码在TensorRT-7.2.3.4\samples\trtexec中，若是需要重新编译，需要配置release模式下的属性，主要是配置cuda10.2、opencv、tensorrt等的include、lib等路径。至此，cuda10.2配置完成。
windows版：TensorRT安装教程
qq_46107892的博客
11-15 247
windows10安装TensorRT-7.2.2.3
TensorRT ubuntu18.04 安装过程记录
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
07-29 3163
.
nvidia TensorRT在windows下安装并运行sampleMNIST示例
我们的征途是星辰大海的博客
12-18 771
nvidia TensorRT在windows下安装并运行sampleMNIST示例 官网下载TensorRT对应版本，我选择TensorRT 6.0 GA for windows，下载网址https://developer.nvidia.com/nvidia-tensorrt-6x-download下载对应cuda10.1即可 zip安装说明文档照着做就行，添加环境变量，复制仅dll文件等，注意cuda10.1对应的cudnn为7.6.3，一定要对应上就行，https://docs.nvidia.com
TensorRT7.0版本在Linux环境安装，以及安装python API接口，测试TensorRT中的测试用例
求真、务实
11-26 4893
#1 TensorRT 介绍 ##1.1. 认识TensorRT TensorRT是NVIDIA开发的高性能的深度学习推理SDK，它包括深度学习推理优化器和运行时的低延时和数据高吞吐量。 TensorRT是有助于在NVIDIA图像处理单元（GPU）的高性能推理的C++库，旨在与TensorFlow、Caffe、Pytorch、MXNet等训练框架形成互补方式工作，从而使预训练的模型快速的在GPU上进行工作，生成结果。 TensorRT是基于NVIDIA的并行编程模型CUDA构建的，TensorRT为深度学
conda 安装 tensorrt8
shi_xin的专栏
10-18 3766
conda 安装 tensorrt，目前官网推荐最新的tensorrt8. 最新的tensorrt8，在conda环境下安装，并不复杂。 官网：github 官网推荐环境： TensorRT GA build TensorRT v8.2.0.6 System Packages CUDA Recommended versions: cuda-11.4.x + cuDNN-8.2 cuda-10.2 + cuDNN-8.2 G
TensorRT安装
12-21
TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址...
tensorRT安装成功后的测试数据.zip
08-30
tensorRT安装后测试数据mnist_data，真实测试可用。
tensorrt的deb安装包
08-20
nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.0.0.11-ga-20191216_1-1_amd64.deb sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.0.0.11-ga-20191216_1-1_amd64.deb sudo apt-get update sudo apt-get ...
【解决方案】TensorRT安装方法，及测试TensorRT中sample给出的mnist时，出现Could not find x.pgm错误解决方法
lkh798842577的博客
08-18 1165
环境： ubuntu18.04 pycuda pil tensorflow-gpu=1.14.0 cuda=10.0 cudnn=7.6.5 python=3.6 1.安装 按照大佬给出的方法安装：https://blog.csdn.net/u011681952/article/details/105973996 需要注意的是，tensorRT的deb安装方式要求CUDA也是deb格式安装的，否则容易出错（很多安装CUDA采用的是runfile格式）。 因我采用的安装CUDA方式时runfile方式，故我选
ubuntu20.04 Tensorrt8.4 onnx2trt trtexec torch2trt Docker环境配置
m0_60827485的博客
11-08 2055
Tensor环境镜像配置
Ubuntu 18.04 TensorRT 7.1.3.4 Cuda10.2跑通第一个SampleMNIST示例(python)，亲测
sjy的博客
08-23 627
一、下载安装cuda和tensorrt，本人前面的文章有 二、打开终端 cd 自己安装tensorRT的路径/samples/sampleOnnxMNIST make 2. 运行示例以从ONNX模型构建并运行MNIST引擎 ./sample_onnx_mnist [-h or --help] [-d or --datadir=<path to data directory>] [--useDLACore=<int>] [--int8 or --fp16] 3..
TensorRT 入门(1) 安装以及第一个样例sampleMNIST
清欢
07-06 3558
文章目录0. 前言1. 运行过程1.1. 数据准备1.2. 代码编译与运行2. 源码解析2.1. 基本概念2.2. 主函数2.3. 将caffe模型转换为TensorRT可识别的形式2.4. 模型推理 0. 前言 目标：在根据官方文档安装完后尝试测试一下TensorRT是否安装成功。 代码可以在 samples/sampleMNIST 中找到，也可以看 github 中对应路径。 TODO：进一步理解模型推理过程中的 stream/buffer/context 等变量的含义。 1. 运行过程 以下过
python复习（三）
qq_43710593的博客
04-29 484
类是一种面向。
SpringBoot中实现发送邮件
最新发布
hac1322的博客
04-30 694
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
python学习笔记----循环语句（四）
取个名字太难了a的博客
04-28 1171
随机数种子在生成随机数的过程中起到一个非常重要的作用。它是用于初始化随机数生成算法（伪随机数生成器）的初始值。随机数种子的作用可重复性：当你使用特定的种子值初始化随机数生成器时，即使在不同的运行环境或不同时间，生成的随机数序列都将是相同的。这对于调试和测试非常重要，因为它允许程序的行为在使用随机数时保持一致。控制随机性：种子提供了一种方法来控制随机数生成过程。通过改变种子，你可以获得不同的随机数序列，这对于模拟和其他需要随机输入的应用非常有用。
tensorrt 安装
07-30
TensorRT的安装有多种方式可供选择，包括使用Debian或RPM软件包、tar文件或zip文件。如果选择使用tar文件进行安装，可以将TensorRT安装到新位置，并支持多个用例，包括完整安装TensorRT 6.x.x和7.x.x版本。在使用tar文件安装时，需要注意以下几点：[1][2] 1. 如果打算让新版本的TensorRT替换旧版本，请在验证新版本后删除旧版本。 2. 如果之前安装的版本来自Debian软件包的系统，请注意tar文件安装不会删除以前安装的软件包。如果不需要并行安装，建议删除以前安装的libnvinfer6、libnvinferdev和libnvinfersamples包以避免混淆。 3. tar文件安装提供了更大的灵活性，例如同时安装多个版本的TensorRT。但是，需要确保已经安装了必要的依赖项，并且必须自己管理LD_LIBRARY_PATH。 另外，根据您的Python环境，您还可以通过pip命令安装与您的Python环境对应的TensorRT包。例如，如果您的Python环境是Python 3.7，可以使用以下命令安装TensorRT 8.4.3.1版本的Python包：[3] ``` cd TensorRT-8.4.3.1/python pip install tensorrt-8.4.3.1-cp37-none-linux_x86_64.whl ``` 这样就可以将TensorRT安装到您的Python环境中了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值