ONNXRuntime与CUDA版本对应

        onnxruntime-gpu版本可以说是一个非常简单易用的框架,因为通常用pytorch训练的模型,在部署时,会首先转换成onnx,而onnxruntime和onnx又是有着同一个爸爸,无疑,在op的支持上肯定是最好的。

        通常在安装onnxruntime时,需要将其版本与pytorch版本和CUDA版本进行对应,其中ONNXRuntime与CUDA版本对应关系表如下表所示。

ONNX RuntimeCUDAcuDNNNotes
1.1712.28.9.2.26 (Linux)
8.9.2.26 (Windows)
The default CUDA version for ORT 1.17 is CUDA 11.8. To install CUDA 12 package, please look at Install ORT.
Due to low demand on Java GPU package, only C++/C# Nuget and Python packages are released with CUDA 12.2
1.15
1.16
1.17
11.88.2.4 (Linux)
8.5.0.96 (Windows)
Tested with CUDA versions from 11.6 up to 11.8, and cuDNN from 8.2.4 up to 8.9.0
1.14
1.13.1
1.13
11.68.2.4 (Linux)
8.5.0.96 (Windows)
libcudart 11.4.43
libcufft 10.5.2.100
libcurand 10.2.5.120
libcublasLt 11.6.5.2
libcublas 11.6.5.2
libcudnn 8.2.4
1.12
1.11
11.48.2.4 (Linux)
8.2.2.26 (Windows)
libcudart 11.4.43
libcufft 10.5.2.100
libcurand 10.2.5.120
libcublasLt 11.6.5.2
libcublas 11.6.5.2
libcudnn 8.2.4
1.1011.48.2.4 (Linux)
8.2.2.26 (Windows)
libcudart 11.4.43
libcufft 10.5.2.100
libcurand 10.2.5.120
libcublasLt 11.6.1.51
libcublas 11.6.1.51
libcudnn 8.2.4
1.911.48.2.4 (Linux)
8.2.2.26 (Windows)
libcudart 11.4.43
libcufft 10.5.2.100
libcurand 10.2.5.120
libcublasLt 11.6.1.51
libcublas 11.6.1.51
libcudnn 8.2.4
1.811.0.38.0.4 (Linux)
8.0.2.39 (Windows)
libcudart 11.0.221
libcufft 10.2.1.245
libcurand 10.2.1.245
libcublasLt 11.2.0.252
libcublas 11.2.0.252
libcudnn 8.0.4
1.711.0.38.0.4 (Linux)
8.0.2.39 (Windows)
libcudart 11.0.221
libcufft 10.2.1.245
libcurand 10.2.1.245
libcublasLt 11.2.0.252
libcublas 11.2.0.252
libcudnn 8.0.4
1.5-1.610.28.0.3CUDA 11 can be built from source
1.2-1.410.17.6.5Requires cublas10-10.2.1.243; cublas 10.1.x will not work
1.0-1.110.07.6.4CUDA versions from 9.1 up to 10.1, and cuDNN versions from 7.1 up to 7.4 should also work with Visual Studio 2017

        选好版本后,使用以下命令进行安装onnxruntime


pip install onnxruntime-gpu==X.X.X -i https://pypi.tuna.tsinghua.edu.cn/simple

 X.X.X表示版本号。

<think>嗯,用户想下载适用于CUDA 11.8的ONNX Runtime Linux版本。首先,我需要确认ONNX Runtime是否支持CUDA 11.8。根据官网的信息,ONNX Runtime的版本CUDA版本之间有对应关系。比如,ORT 1.14支持CUDA 11.6和11.7,而ORT 1.15可能支持更高的CUDA版本。不过用户需要的是CUDA 11.8,可能需要查看最新的版本支持情况。 接下来,用户需要的是Linux版本,所以应该去ONNX Runtime的GitHub发布页面查找对应的包。通常,ONNX Runtime的CUDA版本会以“onnxruntime-linux-x64-gpu-x.y.z.tgz”这样的格式命名,其中x.y.z是版本号,并且需要确认对应CUDA版本。比如,ORT 1.16.0可能支持CUDA 11.8,但需要检查官方文档或发布说明。 另外,用户提到的参考引用中有提到CUDA 11.1和11.8的安装步骤,这可能意味着他们已经在系统上安装了CUDA 11.8,现在需要确保ONNX Runtime之兼容。需要注意的是,ONNX Runtime的GPU版本需要CUDA和cuDNN的正确安装,并且版本必须匹配。 还有,用户可能在使用YOLOv8的部署,如引用[4]中提到的,所以需要确保ONNX Runtime的版本他们的模型兼容。可能需要建议用户查看Ultralytics的示例代码,确认所需的ONNX Runtime版本。 最后,用户可能需要具体的下载链接和安装步骤。我需要提供从官方源下载的正确命令,例如使用wget获取对应的包,解压并安装,或者使用pip安装指定版本onnxruntime-gpu。同时,需要提醒用户验证安装是否成功,比如运行一个简单的Python脚本检查CUDA是否被正确识别。</think>根据您的需求,以下是为CUDA 11.8下载ONNX Runtime Linux版本的完整指南: ### 步骤说明 1. **确认版本兼容性** ONNX Runtime GPU版本需要CUDA Toolkit严格匹配。根据官方文档,**ONNX Runtime v1.15.1及以上版本支持CUDA 11.8**[^3]。 2. **下载预编译包** 访问[ONNX Runtime GitHub Release页面](https://github.com/microsoft/onnxruntime/releases/tag/v1.16.0),选择包含`cuda11`标签的Linux版本。 例如使用命令行下载: ```bash wget https://github.com/microsoft/onnxruntime/releases/download/v1.16.0/onnxruntime-linux-x64-gpu-1.16.0.tgz ``` 3. **验证安装环境** 执行`nvcc -V`确认CUDA 11.8已正确安装,输出应包含`release 11.8`。 4. **Python包安装(可选)** 若需要Python接口,使用pip安装指定版本: ```bash pip install onnxruntime-gpu==1.16.0 ``` ### 关键注意事项 - ONNX Runtime的CUDA支持通过EP(Execution Provider)实现,需在代码中显式启用GPU加速[^4] - 若部署YOLOv8等模型,建议参考Ultralytics官方CPP示例配置CMakeLists.txt[^4]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zy_destiny

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值