TensorRT
文章平均质量分 94
浩瀚之水_csdn
路漫漫其修远兮,吾将上下而求索,立刻行动,坚持,努立
展开
-
TensorRT(6)-INT8 inference
这一节通过官方例程 介绍 INT8 inference mode.例程位于/usr/src/tensorrt/samples/sampleINT8,是基于mnist的,大体流程是一致的。流程同样是 build(Calibration )->deploy,只不过在build时多了一个校准的操作。注意以下几点:1 网络定义定义网络时,注意这个地方传进去的dataType,如果使用FP16 inference 则传进去的是FP16,也就是kHALF;但如果是使用INT8 infere..转载 2022-03-07 11:25:04 · 699 阅读 · 0 评论 -
TensorRT(5)-INT8校准原理
本次讲一下 tensorRT 的 INT8 低精度推理模式。主要参考GTC 2017,Szymon Migacz 的PPT。1 Low Precision Inference现有的深度学习框架 比如:TensorFlow,Caffe, MixNet等,在训练一个深度神经网络时,往往都会使用 float 32(Full Precise ,简称FP32)的数据精度来表示,权值、偏置、激活值等。但是如果一个网络很深的话,比如像VGG,ResNet这种,网络参数是极其多的,计算量就更多了(比如VG...转载 2022-03-07 11:23:59 · 2072 阅读 · 0 评论 -
TensorRT(4)-Profiling and 16-bit Inference
前面几节以 LeNet 为例主要介绍了 tensorRT 的简单使用流程。包括,使用 tensorRT 的 NvCaffeParser 工具以及底层 C++ API 来 模型 caffe 解析,构建 tensorRT 模型并部署等。本节以 GooLeNet 为例,来展示 tensorRT 的优化方法。例程位于/usr/src/tensorrt/samples/sampleGoogleNet这个例程展示的是 TensorRT的layer-based profiling和 half2mode..转载 2022-03-07 10:56:55 · 546 阅读 · 0 评论 -
TensorRT(3)-C++ API使用:mnist手写体识别
本节将介绍如何使用tensorRT C++ API 进行网络模型创建。1 使用C++ API 进行 tensorRT 模型创建还是通过 tensorRT官方给的一个例程来学习。还是mnist手写体识别的例子。上一节主要是用 tensorRT提供的NvCaffeParser来将 Caffe中的model 转换成tensorRT中特有的模型结构。NvCaffeParser是tensorRT封装好的一个用以解析Caffe模型的工具 (较顶层的API),同样的还有 NvUffPaser是用于解析Tens转载 2022-03-07 10:55:47 · 780 阅读 · 0 评论