基于tensorrtx将crnn pytorch模型转换成tensorrt形式，并使用python接口部署，效率提升一半以上

最新推荐文章于 2024-08-08 08:22:15 发布
最新推荐文章于 2024-08-08 08:22:15 发布
阅读量1.1k 收藏 2
点赞数 3
分类专栏： tensorrt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ygfrancois/article/details/114408366
版权

1. 先装好tensorrt

参考Ubuntu18.04 conda环境中配置tensorrt。
由于使用python接口，需要安装好pycuda

2. 参考tensorrtx CRNN转换模型为engine

可以直接跳到第三步，我提供了一个包装好的中文识别CRNN模型，以及预训练weights和转换成tensorrt格式的weights

3. 使用python接口部署

tensorrtx里默认使用的CRNN库是 https://github.com/meijieru/crnn.pytorch.git ，该库没有针对中文的模型。
同时，tensorrtx也没有提供官方的python接口部署样例。
我基于tensorrtx CRNN转换模型为engine和CRNN_Chinese_Characters_Rec创建了中文CRNN, pytorch转tensorrt。
转换后使用python API，耗时为原来的35%，GPU显存消耗降低25%，精度降低微小。详见该github

ygfrancois
关注
专栏目录
基于TensorRT 推理框架 crnn 模型转化 | 【TensorRT 模型转换】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
07-16 799
基于TensorRT 推理框架 crnn 模型转化 示例 所运行代码 所运行代码 – tensorrtx/crnn/ 编译 # 这里 export LD_LIBRARY_PATH 如下 export LD_LIBRARY_PATH=/home/墨理/project/project21/modelTrans/tensorRT/tensorRT7/TensorRT-7.0.0.11/targets/x86_64-linux-gnu/lib:/usr/local/cuda-10.0/lib64:$.
Ubuntu18.04 conda环境中配置tensorrt,并安装torch2trt，如何将pytorch模型转换成tensorrt
ygfrancois的博客
03-02 3218
安装tensorrt conda create --name tensorrt python=3.7 conda activate tensorrt 官网下载TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz（注意要先下载tensorrt，根据tensorrt的版本来设置cuda和cudnn的版本） pip install pytorch1.6.0 torchvision0.7.0 conda install cudato
TensorRTx
W1995S的博客
08-22 1907
TensorRTx https://github.com/wang-xinyu/tensorrtx TensorRTx旨在通过tensorrt网络定义API实现流行的深度学习网络。正如我们所知，tensorrt有内置的解析器，包括caffeparser、uffparser、onnxparser等。但是当我们使用这些解析器时，我们经常会遇到一些“不支持的操作或层”问题，特别是一些最先进的模型正在使用新类型的层。 那么我们为什么不跳过所有的解析器呢？我们只是使用TensorRT网络定义API来构建整个网络，它
TensorRTX 使用教程
最新发布
gitblog_00103的博客
08-08 783
TensorRTX 使用教程 tensorrtxImplementation of popular deep learning networks with TensorRT network definition API项目地址:https://gitcode.com/gh_mirrors/te/tensorrtx 项目介绍 TensorRTX 是一个开源项目，由王欣宇开发并维护，旨在通过 NVI...
tensorrtx：yolov3、v4、v5转tensorrt部署
chenyuming的博客
03-26 587
非常感谢https://github.com/wang-xinyu/tensorrtx作者无私贡献。 环境 Ubuntu18.04 cuda10.2、cudnn8.x.x tensorrt-7.x.x.x opencv >= 3.3 支持 Jetson TX2 yolov4: https://github.com/wang-xinyu/tensorrtx/tree/master/yolov4 yolov5 https://github.com/wang-xinyu/tensorrtx/tree/m
TensorRTX 推演
图像算法的入门之路
10-25 1585
TensorRTX部署前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np
TensorRTX部署yolov5
xu.hyj
01-08 560
【代码】TensorRTX部署yolov5。
算法部署-使用Libtorch部署Pytorch训练出来的CRNN不定长文本序列识别模型-附项目源码-优质项目实战.zip
05-24
在本项目中，我们将深入探讨如何使用LibTorch部署一个基于PyTorch训练的CRNN（卷积循环神经网络）模型，用于不定长文本序列识别。这个实战项目提供了详细的步骤和源代码，使得开发者能够更好地理解和应用这项技术。 ...
crnn（基于pytorch、python3） 实现不定长中文字符识别-附件资源
03-05
crnn（基于pytorch、python3） 实现不定长中文字符识别-附件资源
Pytorch框架基于DBNet和CRNN通过Bridge框架进行联合训练python源码+数据集.zip
07-31
Pytorch框架基于DBNet和CRNN通过Bridge框架进行联合训练python源码.zip 这是一个基于PyTorch的项目,实现了DBNet和CRNN的联合训练,通过Bridge结构将检测器和识别器连接起来,以提高检测性能的同时保持模块化。 主要...
Python、PyTorch和TensorRT技术栈
博观约取，厚积薄发
04-27 267
1. Python、PyTorch和TensorRT技术栈以及CUDA编程基础 海上的钢琴的个人空间_哔哩哔哩_Bilibili 除了CUDA编程之基础，内存模型和线程束，其他三个已经学完！ 2. CUDA 教程 CV技术大牛带你学CUDA_哔哩哔哩_bilibili 未学！ 3.详解TensorRT的C++/Python高性能部署，实战应用到项目 详解TensorRT的C++/Python高性能部署，实战应用到项目_哔哩哔哩_bilibili 已学完！好教程！ ...
tensorrtx:使用TensorRT网络定义API实施流行的深度学习网络
05-11
TensorRTx TensorRTx旨在通过tensorrt网络定义API实现流行的深度学习网络。 众所周知，tensorrt内置了解析器，包括caffeparser，uffparser，onnxparser等。但是，当使用这些解析器时，我们经常会遇到一些“不受支持的操作或层”问题，尤其是某些正在使用的最新模型新类型的图层。 那么，为什么不跳过所有解析器呢？ 我们只使用TensorRT网络定义API来构建整个网络，这并不复杂。 我写这个项目是为了熟悉tensorrt API，并与社区分享和学习。 所有模型首先在pytorch / mxnet / tensorflown中实现，然后导出权重文件xxx.wts，然后使用tensorrt加载权重，定义网络并进行推断。 在我的可以找到一些pytorch实现，其余的则来自多源开源实现。 消息 26 Apr 2021 。 添加Inceptio
tensorrtx-yolov5--成功编译的CMakeLists.zip
08-30
tensorrtx-yolov5--成功编译的CMakeLists
Pytorch 转TensorRT5
12-21
知乎上，说的也不错： https://zhuanlan.zhihu.com/p/88318324 https://blog.csdn.net/qq_38003892/article/details/89314108 1.torch2trt https://www.ctolib.com/amp/NVIDIA-AI-IOT-torch2trt.html https://github.com/DocF/YOLOv3-Torch2TRT https://github.com/traveller59/torch2trt 像官方代码: https://github.com/NVIDIA-AI-IOT/to
TensorRTx-YOLOv5工程解读（一）
ChunjieShan的博客
09-26 3114
TensorRTx工程解读——YoloV5（一） 权重生成：gen_wts.py 作者先是使用了gen_wts.py这个脚本去生成wts文件。顾名思义，这个.wts文件里面存放的就是.pt文件的权重。脚本内容如下： import sys import argparse import os import struct import torch from utils.torch_utils import select_device def parse_args(): parser = argpars
【tensorrt】从零YOLOV5在Windows10的部署（tensorrtx）
m0_51246196的博客
02-24 3594
【tensorrt】从零YOLOV5在Windows10的部署（tensorrtx）
TensorRT 入门(6) tensorrtx lenet
清欢
02-26 2337
文章目录0. 前言1. 使用流程2. 源码解析2.1. 创建Engine文件2.2. 模型推理 0. 前言 学习TensorRT的资料实在是太少了 主要就是靠官方文档和官方Demo 其他开源项目基本都是针对某个或某些网络的，没有一些类似于tutorials的教程 除了官方资料外，Github上star最多的就是 tensorrtx 这个项目可能开始是作者练手的，后面慢慢丰富了之后有别人来提交PR 这个项目的主要内容是：通过 TensorRT Network API 来构建网络，并转换原始模型的
TensorRTX: 提升深度学习推理性能的新选择
gitblog_00030的博客
03-20 312
TensorRTX: 提升深度学习推理性能的新选择 tensorrtxImplementation of popular deep learning networks with TensorRT network definition API项目地址:https://gitcode.com/gh_mirrors/te/tensorrtx 是一个开源项目，它以NVIDIA的TensorRT为核心，为...
crnn pytorch实现代码
05-12
CRNN是一种深度学习模型，可以同时完成文字检测和识别的任务。CRNN模型结合了卷积神经网络和循环神经网络，通过卷积神经网络提取图像特征，再通过循环神经网络对特征序列进行处理，从而实现文字识别。 PyTorch是一种流行的深度学习框架，支持神经网络模型定义、优化和训练等操作。以下是使用PyTorch实现CRNN模型的代码示例： # 导入需要用到的库和模块 import torch import torch.nn as nn class CRNN(nn.Module): def __init__(self, num_classes): super(CRNN, self).__init__() self.num_classes = num_classes # 定义卷积神经网络部分 # 卷积层1 self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1) self.bn1 = nn.BatchNorm2d(64) self.relu1 = nn.ReLU(inplace=True) # 池化层1 self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2) # 卷积层2 self.conv2 = nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1) self.bn2 = nn.BatchNorm2d(128) self.relu2 = nn.ReLU(inplace=True) # 池化层2 self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2) # 卷积层3 self.conv3 = nn.Conv2d(128, 256, kernel_size=3, stride=1, padding=1) self.bn3 = nn.BatchNorm2d(256) self.relu3 = nn.ReLU(inplace=True) # 卷积层4 self.conv4 = nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1) self.bn4 = nn.BatchNorm2d(256) self.relu4 = nn.ReLU(inplace=True) # 池化层3 self.pool3 = nn.MaxPool2d(kernel_size=(2,1), stride=(2,1)) # 将卷积层的输出展成二维的形状 self.conv_output_size = 256 * 6 * 1 # 定义循环神经网络部分 self.rnn = nn.GRU(input_size=self.conv_output_size, hidden_size=256, num_layers=1, batch_first=True, bidirectional=True) # 定义全连接层 self.fc = nn.Linear(256*2, num_classes) def forward(self, x): # 卷积神经网络部分 x = self.conv1(x) x = self.bn1(x) x = self.relu1(x) x = self.pool1(x) x = self.conv2(x) x = self.bn2(x) x = self.relu2(x) x = self.pool2(x) x = self.conv3(x) x = self.bn3(x) x = self.relu3(x) x = self.conv4(x) x = self.bn4(x) x = self.relu4(x) x = self.pool3(x) # 将张量按照时间步展成二维的形状 batch_size, channel, height, width = x.size() x = x.view(batch_size, channel*height, width).permute(0, 2, 1) # 循环神经网络部分 _, hidden = self.rnn(x) hidden = hidden[-1] # 全连接层 output = self.fc(hidden) return output 在上述代码中，定义了一个CRNN类，它继承了PyTorch的nn.Module类。在构造函数__init__中，定义了模型的各个层的参数和结构，包括卷积神经网络、循环神经网络和全连接层。在forward函数中，将输入的张量x经过卷积神经网络的卷积层、BN层、激活函数和池化层，然后按照时间步展成二维的形状，并经过循环神经网络和全连接层，最终输出预测的结果。 使用PyTorch实现CRNN模型的过程中，还需要定义损失函数和优化器，并进行训练和测试等操作，具体操作过程可以按照一般的深度学习模型的操作来实现。总的来说，CRNN模型的PyTorch实现代码比较简单，只需要按照模型的结构一步步定义各个层的参数和结构，然后按照流程串起来即可。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值