torch转onnx模型加速,onnx模型推理直接达到tensorRT速度,省去onnx转tensorRT的流程

完成torch转onnx后,直接基于onnx模型推理达到tensorRT速度~


最近在进行torch模型推理加速过程时,原本想的方案是torch转onnx再转tensorRT实现加速,但是在转完onnx,使用onnx模型验证推理效果时发现,可以直接通过设置onnx runtime 推理模型的provider参数,实现tensorRT的推理速度。

在未设置provider时速度很慢,我这默认应该用的是CPU。

通过以下方式修改为tensorRT引擎:

import onnxruntime as ort

onnx_model = ort.InferenceSession(landmark_gen_onnx_path, providers=['TensorrtExecutionProvider'])

我这边是直接就运行成功了,并且后面通过转完tensorRT模型后的速度验证,发现这种方式下比我自己转tensorRT模型再用tensorRT模型推理速度还快一点点。

provider 参数解释:
providers: Optional sequence of providers in order of decreasing precedence. Values can either be provider names or tuples of (provider name, options dict). If not provided, then all available providers are used with the default precedence.

可选参数为:‘TensorrtExecutionProvider’, ‘CUDAExecutionProvider’, ‘CPUExecutionProvider’,大概分别代表使用TensorRT,CUDA,CPU 执行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值