TensorRT
文章平均质量分 87
TensorRT学习笔记,旨在学习C++部署模型,模型加速推理
秋山丶雪绪
这个作者很懒,什么都没留下…
展开
-
从零开始 TensorRT(7)C++ 篇:解析 ONNX
但是反复检查代码感觉没有非法的内存访问,偶然对常用输入的 BatchSize 修改后发现代码能跑通,便做了如下测试。按理来说 optBatchSize 和校正时的 BatchSize 没什么关系,多半是 TensorRT 内部的 Bug。将读取 Numpy 文件的部分改为读取本地图像,并利用 OpenCV 对图像进行预处理,Int8 模式中的校正器部分代码也有所改动。文件,并在 C++ 部分直接读取 Numpy 文件中的数据用于推理和校正,避免了图片解码的相关代码。在 cookbook 中,原创 2024-03-07 12:50:33 · 780 阅读 · 1 评论 -
从零开始 TensorRT(6)C++ 篇:原生 API 构建网络
而在对示例进行简化时,有些难以确认 API 属于哪个导入的文件。日志记录器 Logger 在构建 TensorRT 部分是必不可少的,并且不像在 Python 中简单的使用。总而言之,感觉在 C++ 中似乎只能通过教程示例等来确定路径、文件、API 等的对应关系。的是头文件,头文件中一般只有声明,还需要包含实现的库文件。对应,C++ 和 Python 中使用的 API 大同小异,流程也基本一致,因此不再对。省略命名空间后,直接阅读代码更加难以得知 API 的归属。,需要导入的文件却有所不同。原创 2024-02-23 13:42:43 · 692 阅读 · 1 评论 -
从零开始 TensorRT(5)C++ 篇:g++、CMake、VS Code 环境入门
定义 SRC 变量, 其值为 file1.cpp file2.cpp。原创 2024-02-22 11:24:10 · 902 阅读 · 0 评论 -
从零开始 TensorRT(4)命令行工具篇:trtexec 基本功能
学习资料:TensorRT 源码示例参考源码:cookbook → 07-Tool → trtexec在 TensorRT 的安装目录下有命令行工具 trtexec,主要功能:(1)由 ONNX 文件生成 TensorRT 引擎并序列化为 plan 文件(2)查看 ONNX 或 plan 文件的网络逐层信息(3)模型性能测试,即测试 TensorRT 引擎在随机输入或给定输入下的性能。原创 2024-02-04 14:10:58 · 1776 阅读 · 2 评论 -
从零开始 TensorRT(3)Python 篇:解析 ONNX、PyTorch TensorRT 接口
学习资料:TensorRT 源码示例。原创 2024-02-04 13:59:58 · 1355 阅读 · 0 评论 -
从零开始 TensorRT(2)Python 篇:原生 API 构建网络
学习资料:TensorRT 源码示例:示例中使用 TensorRT 的 API 搭建网络并进行推理,由于网络过于简单(只有一层且输入与输出相同),会存在如何实际搭建一个网络模型、搭建网络后如何加载参数等疑问。但作为第一个示例,主要的作用是熟悉构建网络和执行推理的流程,这部分代码比较模板化,会经常用到。:示例中会把一个 Pytorch 模型导出为 ONNX 格式,然后用 TensorRT 读取并生成引擎进行推理,这也是目前最常用的方法。原创 2024-02-04 13:50:27 · 1281 阅读 · 0 评论 -
从零开始 TensorRT(1)环境篇:下载、安装、测试
TensorRT安装部署,以及部分示例测试原创 2022-10-31 10:40:52 · 10888 阅读 · 2 评论