[tensorrt实践] 官方demo采坑

已于 2023-04-29 15:34:17 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： 环境配置及基本操作 文章标签： 深度学习 python 人工智能
于 2022-06-16 20:27:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qqsuiying/article/details/125322655
版权

这里的demo指的是在理论中提到的官方demo

NVIDIA/trt-samples-for-hackathon-cn: Simple samples for TensorRT programming (github.com)

  1. 测试环境：

    我目前测了两个部署环境

    • jetson xavier AGX， python3.6.9+tensorrt7.1.3.0+cuda10.2 直接使用的nvidia官方固件中预装的tensorrt和python3

    • x86平台 ，intel 10900K+RTX3080，python3.7.12+tensorrt8.2.5.1+cuda 11.1

  2. 安装tensorrt 官网下载安装包，tar格式的

    选择路径解压，然后将路径添加到bashrc里面

    比如export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/common/opt/TensorRT-8.2.5.1/lib

    然后conda切换到虚拟环境

    安装压缩包中对应的python文件(对应好python版本即可)

    pip install tensorrt-8.2.5.1-cp37-none-linux_x86_64.whl

  3. 安装pycuda

    直接 pip install pycuda即可

    但是如果现在运行demo，是无法import cuda的

    from cuda import cudart # 使用 cuda runtime API

    通过github上的issues可找到解决方案 需要安装 cuda-python

    NVIDIA/cuda-python: CUDA Python Low-level Bindings (github.com)

    git clone 代码，然后在需要的虚拟环境 pip install -e . 即可

    在jetson上由于cpu拉胯，运行build的时候会卡一会，所以安装比较慢，等一下就好。

  4. 修改多进程bug 官方代码如果直接用的话，能跑完但是有报错如下

    CUTENSOR ERROR: some argument is NULL. [TensorRT] ERROR: ../rtSafe/cuda/cutensorReformat.cpp (352) - cuTensor Error in executeCutensor: 7 (Internal cuTensor reformat failed) [TensorRT] ERROR: FAILED_EXECUTION: std::exception需要通过这个链接的方式，解决多线程问题。

    [(9条消息) 使用flask部署tensorrt模型时遇到的问题：TensorRT] ERROR: ../rtSafe/cuda/caskConvolutionRunner.cpp (408)_三叔家的猫的博客-CSDN博客

qqsuiying
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C# yolov8 TensorRT Demo.rar
05-28
C# yolov8 TensorRT Demo.rar 博客地址：https://lw112190.blog.csdn.net/article/details/139265406
TensorRT基础使用
Major_S的博客
09-12 328
trt
深度学习模型部署(七)TensorRT工作流and入门demo
qq_45983373的博客
03-11 408
探讨了TensorRT的工作流，并给出了一个demo
TensorRT上首次运行demo（sampleSSD）笔记
小诺的博客
04-26 4322
其实官方已经有了非常详细的教程，https://github.com/NVIDIA/TensorRT；https://github.com/NVIDIA/TensorRT/tree/master/samples/opensource/sampleSSD。但是由于我对神经网络很是不熟悉，所以导致理解有误。 设置CUDA_INSTALL_DIR 和 CUDNN_INSTALL_DIR（我设置的...
TensorRT例程解读之语义分割demo
ChunjieShan的博客
02-18 1786
TensorRT语义分割例程分析
TensorRT 报错（Python)：Error Code 1: Cuda Runtime (invalid resource handle) 解决方法
微鉴道长的博客
08-29 7908
TensorRT 报错（Python)：Error Code 1: Cuda Runtime (invalid resource handle) 解决方法
C# yolov8 TensorRT +ByteTrack Demo.rar
最新发布
05-29
C# yolov8 TensorRT +ByteTrack Demo.rar 博客地址：https://lw112190.blog.csdn.net/article/details/139289507
C#-WPF官方Demo
11-14
**C# WPF官方Demo深度解析** C# WPF（Windows Presentation Foundation）是微软开发的一种用于构建Windows桌面应用程序的技术，它结合了丰富的图形界面、数据绑定、多媒体支持和强大的编程模型。这个官方Demo集合...
tensorrt c++ 推理项目
07-03
tensorrt c++ 推理示例项目，支持分类网络，比如alexnet，...TensorRT-8.2.1.8.Windows10.x86_64.cuda-11.4.cudnn8.2 转换流程：pytorch转onnx，onnx转tensorrt引擎 python生成tensorrt引擎步骤，可以查看我的博客： ...
LaMa Image Inpainting 图像修复 TensorRT Demo.rar
05-20
LaMa Image Inpainting 图像修复 TensorRT Demo.rar 博客地址：https://crazy-flying-bee.blog.csdn.net/article/details/139057205
支持多层输出的TensorRT
10-17
这个demo是支持多层输出网络结构的TensorRT接口，原始资源来源于github，相应链接找不到了，不好意思;
TensorRT的Prelu层
10-17
主要是加入到TebsorRT的Prelu层，用于模型加速，适用于含有Prelu的网络结构;
Nvidia TensorRT官方例程源代码
02-20
Nvidia TensorRT官方例程源代码，从TX1上拷贝下来的。
tensorrt_demos:TensorRT YOLOv4，YOLOv3，SSD，MTCNN和GoogLeNet
05-11
tensorrt_demos 展示如何使用TensorRT优化caffe / tensorflow / darknet模型并在NVIDIA Jetson或x86_64 PC平台上运行推理的示例。 在Jetson Nano上以约4.6 FPS运行优化的“ yolov4-416”物体检测器。 在Jetson Nano上以约4.9 FPS的速度运行优化的“ yolov3-416”物体检测器。 在Jetson Nano上以27〜28 FPS运行优化的“ ssd_mobilenet_v1_coco”对象检测器（“ trt_ssd_async.py”）。 在Jetson Nano上以6〜11 FPS运行非常精确的优化“ MTCNN”面部检测器。 在Jetson Nano上以“每张图像〜16毫秒（仅供参考）”运行优化的“ GoogLeNet”图像分类器。 除了Jetson Nano，所有演
Tensorrt笔记（六）c++官方demo测试
juluwangriyue的博客
06-25 429
下载地址：https://developer.nvidia.com/nvidia-tensorrt-8x-download打开下面的项目文件，编译 程序生成可执行程序到 …/…/bin文件夹下。 执行该生成的程序： 4、源码与分析 4.1、源码 4.2、源码分析 4.2.1、项目方面 连接库文件： 包含头文件： 库目录： 主要关注 …/…/lib 和 $(CUDA_PATH)\lib\x64目录。 可执行路径： 主要关注 …/…/lib 目录。 4.2.2、代码方面 4.2.2.1、头文件目录 主要
Error Code 1: Cuda Runtime (invalid resource handle)
AI浩
12-06 5498
同时加载了多个TensorRT模型，就会出现如下问题： 原因分析 这种问题一般多发于在多线程中使用tensorrt，或者在主线程中定义tensorrt的引擎，然后在回调线程利用该引擎进行推理的时候，就会发生这样的错误。导入cuda包，然后初始化。 在类初始化里面添加： 在推理代码里面，再推理前加上 self.cfx.push()，在推理完成后，加上 self.cfx.pop()
Arcface TensorRT Demo
ZHOUYONGXYZ的专栏
12-02 884
import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit import numpy as np import cv2 def get_engine(engine_path): # If a serialized engine exists, use it instead of building an engine. print("Reading engine from file {}".forma.
TensorRT部署总结（二）【常见Bug】
qq_23022733的博客
05-25 544
按照这个问答，提问者在GTX 1080 Ti会出现这个问题，但在2080Ti就没有这个问题。
TensorRT中的常见问题
专注于人工智能领域的小何尚
02-16 1420
以下部分有助于回答有关 NVIDIA TensorRT 典型用例的最常见问题。
tensorrt demo c++
06-01
以下是一个简单的TensorRT C++ demo，该demo使用TensorRT推理引擎对MNIST数字进行分类： ```c++ #include <iostream> #include <cmath> #include <fstream> #include <sstream> #include "NvInfer.h" #include "NvInferPlugin.h" #include "NvOnnxParser.h" using namespace nvinfer1; using namespace plugin; int main(int argc, char** argv) { // Load the ONNX model std::string onnx_model_file = "mnist.onnx"; IBuilder* builder = createInferBuilder(gLogger); INetworkDefinition* network = builder->createNetwork(); auto parser = nvonnxparser::createParser(*network, gLogger); parser->parseFromFile(onnx_model_file.c_str(), -1); builder->setMaxBatchSize(1); builder->setMaxWorkspaceSize(1 << 30); // Set the input and output dimensions Dims input_dims = network->getInput(0)->getDimensions(); input_dims.d[0] = 1; // Set batch size to 1 network->getInput(0)->setDimensions(input_dims); network->getOutput(0)->setDimensions(Dims4(1, 10, 1, 1)); // Build the engine ICudaEngine* engine = builder->buildCudaEngine(*network); // Create execution context IExecutionContext* context = engine->createExecutionContext(); // Create input and output buffers void* input_buffer; void* output_buffer; cudaMalloc(&input_buffer, input_dims.numel() * sizeof(float)); cudaMalloc(&output_buffer, 10 * sizeof(float)); // Load the input data float input_data[28 * 28]; std::ifstream input_file("test_input.txt"); std::string line; int i = 0; while (getline(input_file, line)) { std::stringstream ss(line); ss >> input_data[i++]; } // Copy the input data to GPU cudaMemcpy(input_buffer, input_data, input_dims.numel() * sizeof(float), cudaMemcpyHostToDevice); // Run inference context->execute(1, &input_buffer, &output_buffer); // Copy the output back to CPU float output_data[10]; cudaMemcpy(output_data, output_buffer, 10 * sizeof(float), cudaMemcpyDeviceToHost); // Print the output std::cout << "Output: "; for (int i = 0; i < 10; i++) { std::cout << output_data[i] << " "; } std::cout << std::endl; // Clean up cudaFree(input_buffer); cudaFree(output_buffer); context->destroy(); engine->destroy(); network->destroy(); builder->destroy(); parser->destroy(); return 0; } ``` 这个demo将一个MNIST手写数字的28x28像素图像作为输入，输出一个包含10个元素的向量，其中每个元素代表一个数字的概率。在执行这个demo之前，需要先将ONNX模型转换为TensorRT格式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值