清欢

文章目录0. 前言1 DeepStream: Next-Generation Video Analytics for Smart Cities2 DeepStream SDK3. DeepStream Getting Started4. NVIDIA DeepStream SDK Developer Guide0. 前言官方文档DeepStream: Next-Generation Video Analytics for Smart Cities，对应翻译DeepStream Getting S

文章目录0. 前言1. 使用2. 源码浏览2.1 文件夹结构2.2 项目总体结构0. 前言参考资料：GithubtkDNN代码的使用和理解tkDNN 是什么简单说，就是利用 cuDNN 和 TensorRT 实现了一些网络，目标部署在 Jetson 设备上。官方介绍如下文所示tkDNN is a Deep Neural Network library built with cuDNN and tensorRT primitives, specifically thoug

文章目录0. 前言1. sampleINT81.1 实例简介1.2 扩展阅读2. sampleINT8API2.1 实例简介2.2 扩展阅读3. Python Caffe MNIST INT80. 前言TensorRT 提供了 FP16 量化与 INT8 量化。前者通过 FP32 engine 或 ONNX 模型就可以直接得到。后者多了一步操作，需要进行校准（calibration），生成校准文件。官方提供了两个samplesampleINT8 - Performing Inferen

文章目录0. 前言1. 问题描述2. 一些测试2.1 测试代码总体结构2.2 一些测试结果3. 未完成的工作0. 前言现状之前学习了 tensorrtx lenet，该项目通过 TensorRT Network Definition C++ API 创建模型，当时没觉得这个有什么好，就当是熟悉 TensorRT。现在碰到一个问题，ONNX模型转不过去，可能要用到TensorRT API构建Network。开始找资料时发现：文档写的很简单，也没有实例；中英文博客也很少，也没有太多实例；基本上都

文章目录0. 前言1. 基本概念1.1 Logger1.2 Builder1.3. Runtime1.4 ICudaEngine1.5 IExecutionContext2. 推理2.1 相关API详解2.2 实例3. ONNX 模型转换4. Dynamic Shape5. 插件0. 前言之前浏览过Python API并输出了笔记，但在实际使用过程中，上次的笔记没有任何卵用……所以，本文根据 API 提供的几个功能，分别介绍相关API以及实例，希望下次用到TensorRT的时候，可以直接在这里

文章目录0. 前言1. 使用流程2. 源码解析2.1. 创建Engine文件2.2. 模型推理0. 前言学习TensorRT的资料实在是太少了主要就是靠官方文档和官方Demo其他开源项目基本都是针对某个或某些网络的，没有一些类似于tutorials的教程除了官方资料外，Github上star最多的就是 tensorrtx这个项目可能开始是作者练手的，后面慢慢丰富了之后有别人来提交PR这个项目的主要内容是：通过 TensorRT Network API 来构建网络，并转换原始模型的

文章目录0. 前言1. Quick Start Guide 详解1.1. TensorRT 生态1.2. ONNX 样例1.3. TensorRT Runtime API2. Developer Guide 详解2.1. TensorRT 简介2.2. C++/Python API3. Best Practices For TensorRT Performance 详解3.1. 如何评估性能3.2. 如何提高TensorRT性能3.3. 如何提高 Layer/Plugin/Python 的性能0. 前言

文章目录0. 前言1. User Guide1.1. Core Concepts2. TensorRT API Reference3. UFF Converter API Reference4. GraphSurgeon API Reference0. 前言官方文档地址内容简介：User Guide：用户手册，主要包括安装、迁移以及一些基本概念TensorRT API ReferenceUFF Converter API ReferenceGraphSurgeon API Refer

文章目录0. 前言1. ONNX 模型转换1.1. build 函数详解0. 前言本文提到的sampleMNISTAPI与之前0. 前言本文提到的sampleMNISTAPI与之前笔记1和笔记2提到的样例有完全相同的输入与输出，不同之处在于模型创建方式不一样。sampleMNIST通过导入一个caffe模型并将caffe模型转换为tensorrt的形式。sampleMNISTAPI通过TensorRT的C++接口直接一层一层搭建模型，并将caffe中的权重导入创建好的网络中。sample

文章目录0. 前言1. 运行过程1.1. 数据准备1.2. 代码编译与运行2. 源码解析2.1. 基本概念2.2. 主函数2.3. 将caffe模型转换为TensorRT可识别的形式2.4. 模型推理0. 前言目标：在根据官方文档安装完后尝试测试一下TensorRT是否安装成功。代码可以在 samples/sampleMNIST 中找到，也可以看 github 中对应路径。TODO：进一步理解模型推理过程中的 stream/buffer/context 等变量的含义。1. 运行过程以下过

文章目录0. 前言1. TensoRT C++ 构建网络1.1. 对象定义1.2. 建立网络2. 其他相关代码2.1. 读取命令行参数2.2. logger 相关0. 前言本文提到的sampleMNISTAPI与之前笔记提到的sampleMNIST有完全相同的输入与输出，不同之处在于模型创建方式不一样。sampleMNIST通过导入一个caffe模型并将caffe模型转换为tensorrt的形式。sampleMNISTAPI通过TensorRT的C++接口直接一层一层搭建模型，并将caffe中的