tensorrt
文章平均质量分 54
ygfrancois
这个作者很懒,什么都没留下…
展开
-
基于tensorrtx将crnn pytorch模型转换成tensorrt形式,并使用python接口部署,效率提升一半以上
1. 先装好tensorrt参考Ubuntu18.04 conda环境中配置tensorrt。由于使用python接口,需要安装好pycuda2. 参考tensorrtx CRNN转换模型为engine3. 使用python接口部署tensorrtx里默认使用的CRNN库是 https://github.com/meijieru/crnn.pytorch.git ,该库没有针对中文的模型。同时,tensorrtx也没有提供官方的python接口部署样例。我基于tensorrtx CRNN转换模原创 2021-03-08 21:12:44 · 1126 阅读 · 6 评论 -
tensorrt转换模型进行了哪些操作
对于网络layer graph进行的操作:消除输出未使用的层消除相当于无操作的操作卷积、偏置和ReLU运算的融合具有足够相似参数和相同源张量的运算聚合(例如,GoogleNet v5的初始模块中的1x1卷积;inception结构中同一个block中有不同感受野的卷积分支,每个分支中开始的1*1卷积操作可以聚合计算后再拆分)通过将层输出定向到正确的最终目的地来合并连接层。对于参数精度的操作:修改为float16或int8精度,会损失模型的acc。...原创 2021-03-03 16:53:43 · 260 阅读 · 1 评论 -
Ubuntu18.04 conda环境中配置tensorrt,并安装torch2trt,如何将pytorch模型转换成tensorrt
安装tensorrtconda create --name tensorrt python=3.7conda activate tensorrt官网下载TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz(注意要先下载tensorrt,根据tensorrt的版本来设置cuda和cudnn的版本)pip install pytorch1.6.0 torchvision0.7.0conda install cudato原创 2021-03-02 17:16:59 · 3207 阅读 · 0 评论