![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tensorrt+onnx
文章平均质量分 53
枯木逢春犹再发
这个作者很懒,什么都没留下…
展开
-
第三步:onnx模型导入tensorrt生成优化engine + 在GPU上推理
一、环境Ubuntu18.04 + cuda10.0 + python3.7.6 + pytorch1.4.0 + tensorrt7.0.0.11二、onnx模型导入tensorrt生成优化engine找到TensorRT的安装目录,里面有一个trtexec工具,完整路径:/path/to/TensorRT-7.0.0.11/bin/trtexec。这个工具可以直接生成引擎,不需要写代码,终端命令:# --onnx: onnx模型路径;--saveEngine: 将要保存engine的路径;--v原创 2021-05-31 15:57:07 · 4229 阅读 · 1 评论 -
第一步:ubuntu18.04装TensorRT8.0.0.3 + onnx1.8.0 + onnx_tensorrt
一、环境说明Ubuntu18.04 + cuda10.0 + python3.7.6 + pytorch170我是直接在镜像里配置所有环境,所以默认root权限。如果在本地配置环境时报权限不足的错误,请自行在语句前加上 sudo。二、安装TensorRT7.0.0.11下载安装包 tar包官网下载解压 tar xzvf TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz配置环境变量 vim ~/.ba原创 2021-05-24 16:27:57 · 3323 阅读 · 2 评论 -
第二步:pytorch模型转onnx模型步骤和可能遇到的问题
一、本地(win10)环境cuda11.0 + python3.7.4 + pytorch1.7.1 + onnx1.9.0二、可能出现的问题1. pytorch与tensorrt版本对应问题pytorch转onnx模型是为了后续导入tensorrt做准备,所以要考虑pytorch与tensorrt版本对应的问题。由于服务器的环境是cuda10.1 + tensorrt7.0.0.11,所以要先把pytorch模型从1.7.1降到1.4.0。以efficientnet_b1为例,先在pytorch1原创 2021-05-25 20:24:12 · 10077 阅读 · 4 评论