Nvidia Orin 安装onnxruntime-gpu-CSDN博客

本文链接：https://blog.csdn.net/leo0308/article/details/147772782

在用英伟达边缘设备Nvidia Orin 安装onnxruntime-gpu环境时，通常会遇到很多问题。

在正常的Nvidia 服务器上安装onnxruntime-gpu 是非常简单的，直接pip install onnxruntime-gpu即可，但是在边缘设备上就没有这么简单了。直接pip install onnxruntime-gpu 是找不到相应的包的。

下面介绍2种安装方法：

1 通过预编译的whl包进行安装

这种是最简单的，只比pip install onnxruntime-gpu略微麻烦一点，需要手动下载离线包。
但是预编译的包不一定能适配你的机器，因此需要确认好环境版本，最主要的是Jetpack的版本和python版本，
通过下面的命令可查询Jetpack版本：

dpkg -l | grep 'nvidia-jetpack'

比如我的环境版本：

nvidia@nvidia-desktop:~/leo/test_onnx$ dpkg -l | grep 'nvidia-jetpack'
ii  nvidia-jetpack                                  5.1.1-b56                             arm64        NVIDIA Jetpack Meta Package
ii  nvidia-jetpack-dev                              5.1.1-b56                             arm64        NVIDIA Jetpack dev Meta Package
ii  nvidia-jetpack-runtime                          5.1.1-b56                             arm64        NVIDIA Jetpack runtime Meta Package

然后从https://elinux.org/Jetson_Zoo#ONNX_Runtime 这个地址下载预编译好的whl包。
我的python 是3.8版本，因此下载下面的版本
在这里插入图片描述

下面完后pip install xxx.whl安装即可。

一定要注意，即使你下载的版本不对，安装的时候很可能不会报错，也就是说你可以正常安装上onnxruntime-gpu这个包，但是可能无法使用gpu

安装好后可以通过下面的代码确认是否可以使用gpu

import onnxruntime
onnxruntime.get_device()
onnxruntime.get_available_providers()

在这里插入图片描述
出现GPU 和CUDAExecutionProvider 说明可以使用gpu了。

2 通过源码编译安装

如果https://elinux.org/Jetson_Zoo#ONNX_Runtime这个链接中的版本没有匹配你环境的，那么很不幸，只能通过源码编译安装了。这个里面有很多坑。

可参考： https://blog.csdn.net/qq_38418182/article/details/146093485