cuda加速pth和onnx模型对比-python部署

最新推荐文章于 2025-04-24 17:45:29 发布

Mr.Q

最新推荐文章于 2025-04-24 17:45:29 发布

阅读量1.4k

点赞数

分类专栏： onnxruntime Python

本文链接：https://blog.csdn.net/jizhidexiaoming/article/details/116427903

版权

本文对比了CUDA加速的PyTorch（.pth）模型和ONNX模型在GPU上的运行效率。使用resnet18网络，原始.pth模型大小为89.5M，转换为ONNX后压缩至44.7M。CUDA加速后的.pth模型平均用时7ms，而未经加速的ONNX模型（CPU版）平均用时5ms。通过解决库依赖问题，CUDA加速的ONNX模型（onnxruntime-gpu）平均用时降至1ms。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.数据和网络模型

数据：[1, 3, 256, 256].

模型：resnet18

模型大小：pth89.5M 转换成onnx模型，压缩到44.7M，压缩了一半多。

2.cuda加速pth模型

用时（s）平均用时7ms

0.008384227752685547
0.008441686630249023
0.006928443908691406
0.007239341735839844
0.006813764572143555
0.006902456283569336
0.006703853607177734
0.00638580322265625
0.0069429874420166016
0.006941080093383789
0.006896257400512695
0.0064046382904052734
0.0062482357025146484
0.0062847137451171875
0.006282806396484375
0.006196498870849609
0.006886482238769531
0.007439613342285156

3.不加速onnx模型（onnxruntime cpu版）

用时（s）平均用时5ms

0.005276203155517578
0.005966663360595703
0.0051767826080322266
0.00515437126159668
0.005184173583984375
0.005034923553466797
0.005269765853881836
0.005064725875854492
0.005131959915161133
0.0049817562103271484
0.00508427619934082
0.004971742630004883
0.0050334930