![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
TensorRT
TensorRT教程
阔岩
这个作者很懒,什么都没留下…
展开
-
TensorRT量化-FP16和INT8
FP16FP16 :FP32 是指 Full Precise Float 32 ,FP 16 就是 float 16。更省内存空间,更节约推理时间。Half2Mode :tensorRT 的一种执行模式(execution mode ),这种模式下 图片上相邻区域的 tensor 是 以16位 交叉存储的方式 存在的。而且在 batchsize 大于 1的情况下,这种模式的运行速度是最...转载 2020-01-14 10:18:57 · 14595 阅读 · 3 评论 -
CUDA基础函数
GPU内存分配回收内存的函数接口:cudaMalloc(): 在设备端分配global memorycudaFree(): 释放存储空间CPU的数据和GPU端数据做数据传输的函数接口是一样的,他们通过传递的函数实参(枚举类型)来表示传输方向:cudaMemcpy(void dst, void src, size_t nbytes, enum cudaMemcpyKind direction...原创 2020-01-14 10:16:31 · 1707 阅读 · 0 评论 -
TensorRT使用基本流程
tensorRT的使用包括两个阶段, build and runtime (deployment):build:Import and optimize trained models to generate inference enginesbuild阶段主要完成模型转换(从caffe或TensorFlow到TensorRT),在模型转换时会完成前述优化过程中的层间融合,精度校准。这一步的输出...原创 2020-01-14 10:15:01 · 4909 阅读 · 4 评论 -
TensorRT安装和Hello World
安装1. 官网下载tensorRT的安装包,解压即可,使用时在CMakeLists里指定头文件和库文件位置即可。不推荐使用deb文件安装,因为它要求配置文件也是deb文件安装。2. 下载对应的cuda版本和cudnn版本,cuda版本一定要严格对应。我的配置是ubuntu16.04,cuda9.0,cudnn7.3cudnn版本我没使用官网指定的7.6,虽然会警告,程序还是可以运行。He...原创 2020-01-14 10:08:14 · 1529 阅读 · 0 评论