TensorRT学习总结
Activewaste
good good study,day day up
展开
-
INT8量化原理理解
INT8量化的深入理解参考量化三连问INT8量化原理INT8量化流程INT8量化实现TensorRT 的INT8量化关于INT8量化原理的Q&A参考Int8量化-介绍(一)博主在上面文章的基础上进行合并整理,包括从这些文章的评论里提取有用的信息,帮助大家理解INT8量化的原理,加深巩固认识,再次感谢一下上面的文章。强烈推荐一下第一篇知乎回答,我自己来回看了包括评论有三遍左右进行理解加深,答主写得是真的好。量化三连问为什么量化有用?因为CNN对噪声不敏感。为什么用量化?模型太原创 2020-12-02 00:09:10 · 8695 阅读 · 3 评论 -
【干货】用tensorRT加速yolov5全记录,包含加速前后的数据对比
TensorRT 实现模型yolov5的加速,附自己测的数据对比安装tensorRT首先了解自己ubuntu、CUDA和cuDNN版本安装TensorRT可能出现的问题:使用tensorRT加速LeNet进行验证tensorRT加速yolov5加速前后效果对比安装tensorRT前言:这里仅记录博主自己用tar安装tyensorRT的流程,对于DEV版本等的安装,请移步其他博客。使用tar安装是博主认为相对比较简单的方式了,要注意的是解压版的tar需要我们手动去修改lib的路径,如果是使用安装版的,就不原创 2020-11-25 00:13:57 · 15745 阅读 · 28 评论 -
ImportError: libcudnn.so.8: cannot open shared object file: No such file or directory
csdn了好几天,都没有这个问题的解决方法,我来占个坑,等我解决了再来补充。当然如果有大佬知道怎么解决,还望告知一下,我已经要秃了……背景:最近在部署tensorRT,然后找了教程进行安装部署。cuda是10.2.89ubuntu是16.04cudnn是7.65然后下载了对应的tar版本的tensorRT解压版。然后解压,然后添加环境,然后install tensorrt啊,然后uff啊……然后然后,明明就这么简单的几个命令,居然一致出bug。问题:我在根目录下 ,进入python原创 2020-11-22 22:20:29 · 9303 阅读 · 3 评论 -
部署tensorRT时,解决可能出现的问题。
问题1:NvInfer.h: No such file or directory 或者/usr/bin/ld:cannot find -lnvinfer背景:首先:这个问题的出现的前提是,你安装的tensorRT是zip或者tar版本,不需要root权限。其次:出现这个问题是在使用tensorrtx github库时候,跑lenet的demo的时候出现的。使用make编译的时候报的错。在github的tensorrtx/tutorials/faq.md中说过如何解决这个问题:然后按照说明的改c原创 2020-11-23 00:07:25 · 3771 阅读 · 5 评论