TensorRT
文章平均质量分 96
nvidia inference sdk
aworkholic
路漫漫其修远兮,吾将上下而求索
展开
-
TensorRt(6)yolov3.weight转换、onnx_graphsurgeon和c++ api实现添加NMS
前面博文介绍了 使用opencv dnn模块加载yolo weights格式模型的详细说明。又在博文说明了如何将onnx编译为tensorrt格式并使用的方式,但是存在后处理繁琐的问题。本文将继续说明tensorrt加载yolov3模型进行推理,并且增加efficient nms trt模块。原创 2024-06-25 21:30:00 · 757 阅读 · 0 评论 -
TensorRt(5)动态尺寸输入的分割模型测试
这里主要说明使用TensorRT进行加载编译优化后的模型engine进行推理测试,与前面进行目标识别、目标分类的模型的网络输入是固定大小不同,导致输入维度不能直接获取需要自己手动调整的问题。原创 2024-01-10 22:00:00 · 1210 阅读 · 0 评论 -
jetson AGC orin 配置pytorch和cuda使用、yolov8 TensorRt测试
安装 sudo apt-get install libjpeg-dev zlib1g-dev 之后,删除所有缓存和编译零时文件,再重新编译安装即可。由于gpu推理通常需要预热,拷贝图像(bus.jpg)到文件夹重复多张(以10张为例)即可,重新运行,基本推理耗时。默认安装在系统环境中,若在虚拟环境中,可以创建软连接到虚拟环境中。导出默认的fp32模型,耗时11分钟,40qps,加载测试如下。,执行耗时32分钟(模型文件大小缩小一半),95qps,,如下。若均不报错,且能正常输出说明安装成功,如下图。原创 2024-01-06 21:45:00 · 1832 阅读 · 1 评论 -
TensorRt(4)yolov3加载测试
本文介绍使用darknet项目原始的预训练模型yolov3.weights,经过tensorrt脚本转换为onnx模型,进一步编译优化编译位engine,最后使用TensorRt运行时进行推理。推理时的结果后处理使用c++实现,也给出了问题的说明。原创 2022-12-27 20:30:00 · 971 阅读 · 0 评论 -
TensorRt(3)mnist示例中的C++ API
目前使用主要API函数位于中,根据输入的第三方支持模型类型选择或。主要的一些对象,包含基本的、、、,模型解析/,推理运行、、,以及其他有关的基本数据结构不列举。另外为使用方便,在项目示例common目录中提供了大量文件用于测试,例如简单的(1) Logger对象常规使用需要传递一个ILogger的派生类,可以实现如下} }简化使用直接使用。(2) std::unique_ptr对象为通过智能指针管理资源,例如正确使用可能需要如下操作,// 结束使用简化使用直接使用。原创 2022-12-26 21:30:00 · 1168 阅读 · 3 评论 -
TensorRt(2)快速入门介绍
TensorRt的安装,不同环境下的安装不做介绍,注意不同版本对系统和软件版本的要求。先介绍tensorrt的常规开发周期流程:这个部分不属于TensorRt的内容范畴。通常训练网络模型使用高性能的服务器,使用的框架常见的有Tensorflow、pytorch、caffe、mxnet等。之后被TendorRt加载或转成换能够加载的模型格式。加载第三方模型(目前仅支持onnx、caffe、uff)进行模型编译并从多个方面优化,生成序列化的engine模型,以plan形式保存。原创 2022-11-27 20:18:45 · 2114 阅读 · 0 评论 -
TensorRt(1)安装和命令行测试
根据机器硬件配置,选择TensorRt版本,安装对应的cuda、cudnn版本,命令行trtexec进行简单测试。原创 2022-11-06 14:02:29 · 5467 阅读 · 3 评论