一文玩转tensorrt onnx+tensorrtx

夜夜夜Best

已于 2023-10-20 14:25:31 修改

阅读量5.1k

点赞数 28

分类专栏：部署环节tensorrt 文章标签：深度学习 openvino pytorch 人工智能 tensorflow

于 2021-06-12 15:48:36 首次发布

本文链接：https://blog.csdn.net/qq_34809969/article/details/117847110

版权

本文对比了ONNX和TensorRTX两种深度学习模型部署方式，适用于刚接触TensorRT的CV方向开发者。介绍了王鑫宇的tensorrtx项目，适合初学者，而enazoe的yolo-tensorrt则提供了封装好的Yolo系列模型。此外，文章还探讨了ONNX的使用，推荐了linghu8812和ttanzhiqiang的项目。最后提到了wdhao/tensorrtCV，它结合了ONNX和TensorRT，允许通过JSON定义网络结构，实现一定程度的通用性。

摘要由CSDN通过智能技术生成

前言

本文主要是针对onnx部署方式和tensorrtx（通过tensorrt网络定义API实现网络）两种方式进行对比，特别是刚入坑的小伙伴不知道用哪种方式更合适，更合理时，本文或许能够帮你捋清整个tensorrt的学习思路。另外大部分内容都是基于CV方向，其他领域我也不是很懂，望各位看官海涵

提示：这不是开往幼儿园的车，请各位坐稳抓紧了。

一、浅谈tensorrt

能有兴趣看这篇文章的我想或多或少对tensorrt有所了解，我不知道大家是因为什么了解到的tensorrt，于我而言，简单的说就是工作需要，我自己是做CV方向的，项目到了部署阶段的时候无非就是几种方法，若只想用CPU，可以用openvion，如果希望使用GPU，libtorch和tensorrt两种方式均可，libtorch部署pytorch模型确实很方便，但是考虑到GPU整体资源的利用率和效率等我推荐大家还是直接搞tensorrt，因为tensorrt本身就是nvidia自家的东西，自家的N卡用自己的tensorrt当然合适。我们也是经过了几轮对比测试，发现tensorrt确实很好用，也很快，上手难度说高也高，说不高也不高。至于tensorrt具体是什么，这篇文章不会再做什么介绍了，如果连onnx 或者tensorrt是什么都不是很清楚的朋友，后面内容就不用看了。