2022-10-31如何将自己训练的yolo模型转为tensorrt相关的模型(.trt or .engine)

如何将自己训练的yolo模型转为tensorrt相关的模型


本文主要是以自己训练的yolov3-tiny模型作为例子进行总结和方法说明,其中方法也是照搬了github上面别人的总结,在这里写主要是为了写一些自己认为值得注意的点以及自己在转换过程中遇到的问题,同时也方便自己之后的使用,不然又得忘光光,果然好记性不如烂笔头啊!!

【1】.pt模型转.wts模型

注意:在实现.pt模型转.wts模型的过程中,首先要考虑的问题是自己训练出来的模型存储的时候是只保存了权重参数的.pt模型还是权重参数和结构都保存的.pt模型
①对于只保存了权重参数的.pt模型
如果只保存了权重参数,这个时候可以结合.cfg文件一起实现模型的转换,转换的方法如下:
1)从github里clone一个yolov3.git并解压

git clone -b archive https://github.com/ultralytics/yolov3.git

2)从github里clone一个tensorrtx.git并解压

git clone https://github.com/wang-xinyu/tensorrtx.git

3)将自己训练完的yolov3-tiny模型copy到解压后的yolov3/weights文件夹中,同时将tensorrtx/yolov3-tiny文件夹里面的gen_wts.py文件copy到yolov3的文件夹中
4)在yolov3的文件夹中运行gen_wts.py即可将.pt模型转换成.wts模型

python3 gen_wts.py ./weights/XXX.pt
将Paddle训练好的YOLO模型进行TensorRT推理加速,可以大幅提高模型的推理速度。 以下是大致的步骤: 1. 转换模型格式:将Paddle训练好的YOLO模型转换为TensorRT可读取的格式,比如ONNX或TensorRT格式。 2. 构建TensorRT引擎:使用TensorRT API构建推理引擎,其中包括模型的输入输出设置、推理精度设置、推理策略设置等。 3. 加载数据:将需要推理的数据加载进TensorRT引擎。 4. 执行推理:调用TensorRT引擎的推理接口进行推理,得到结果。 具体步骤如下: 1. 安装Paddle和TensorRT,并确认两者版本兼容。 2. 将Paddle训练好的YOLO模型转换为ONNX格式或TensorRT格式。其中,转换为ONNX格式可以使用Paddle的 `paddle2onnx` 工具,转换为TensorRT格式可以使用TensorRT自带的 `uff-converter-tf` 工具。 3. 使用TensorRT API构建推理引擎。具体的代码实现可以参考TensorRT官方文档和示例代码。 4. 加载数据。对于YOLO模型,需要将输入数据进行预处理,包括图像的缩放、填充和通道的交换等操作。 5. 执行推理。调用TensorRT引擎的推理接口进行推理,得到结果。对于YOLO模型,需要对输出结果进行后处理,包括解码、非极大值抑制和类别置信度筛选等操作。 参考代码: ```python import pycuda.driver as cuda import pycuda.autoinit import tensorrt as trt import numpy as np # Load the serialized ONNX model with open('yolov3.onnx', 'rb') as f: engine_bytes = f.read() # Create a TensorRT engine trt_logger = trt.Logger(trt.Logger.WARNING) trt_engine = trt.Runtime(trt_logger).deserialize_cuda_engine(engine_bytes) # Allocate memory for the input and output buffers host_input = cuda.pagelocked_empty(trt.volume(trt_engine.get_binding_shape(0)), dtype=np.float32) host_output = cuda.pagelocked_empty(trt.volume(trt_engine.get_binding_shape(1)), dtype=np.float32) cuda.memcpy_htod_async(input_buffer, host_input, stream) cuda.memcpy_htod_async(output_buffer, host_output, stream) # Load the input data with open('input.bin', 'rb') as f: input_data = np.fromfile(f, dtype=np.float32) np.copyto(host_input, input_data) # Execute the inference context = trt_engine.create_execution_context() context.execute(batch_size=1, bindings=[int(input_buffer), int(output_buffer)]) cuda.memcpy_dtoh_async(host_output, output_buffer, stream) # Post-process the output with open('output.bin', 'wb') as f: host_output.tofile(f) ```
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LJhaha

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值