Jetson Orin Nano Super之pytorch + torchvision安装

1 源由

• Yolo incompatible with Jetpack 6.2(Jetson Orin Nano Super)
• Yolo incompatible with Jetpack 6.2(Jetson Orin Nano Super) #18829

从NVIDIA - PyTorch for Jetson页面看，最新的是pytorch 2.3.0。

但是安装后将会出现 "ImportError: libcudnn.so.8: cannot open shared object file: No such file or directory"错误。

从提示中看，似乎是libcudnn.so.8没有，因为其自带的默认cuDNN: 9.3.0.75。

虽然，我们知道apt作为安装包的管理工具，但是NVIDIA并没有在包的管理上投入资源，导致版本的依赖与兼容性用起来非常不智能（至少没有ubuntu的自带软件那么方便实用），充分体现了投入资源以及技术方面的一些短板，凸显了资源与技术的博弈！

2. 安装pytorch

注：本人不用NVIDIA的SDK Manager，因为这个工具要求比较高：Is it possible for SDK Manager to support low resolution/low memory computer?。

2.1 NVIDIA手动版本下载

1. 手动下载，可能是比较直接的方法；
2. 同时，笔者为什么说NVIDIA并没有在包的管理上投入资源；
3. ubuntu apt工具就是针对包的依赖关系管理，而NVIDIA没有采用；
4. NVIDIA - PyTorch for Jetson和NVIDIA - 下载包web页面不一致问题（一个停留在2.3.0，另一个有2.5.0）；

相关细节：

• Yolo incompatible with Jetpack 6.2(Jetson Orin Nano Super) #18829

Yolo开源代码提供的一个NVIDIA下载链接：torch-2.5.0a0+872d972e41.nv24.08.17622132-cp310-cp310-linux_aarch64.whl

• Yolo incompatible with Jetpack 6.2(Jetson Orin Nano Super)

NVIDIA提供了第三方编译的一个例子：Jetson/L4T/TRT Customized Example

2.2 开源自己编译版本

关于这块NVIDIA二进制发布弊端就不谈了，但是闭源就是闭源，有其商业的问题，否则人家硬件不好卖，没钱赚那这种科技创新也就没有了。吐槽归吐槽，话又说回来，对于这种板子还需要自己的技术过硬。

• 虚拟内存配置16GB比较保险 //Linux swap 配置与虚拟内存
• Linux 35.6 + JetPack v5.1.4之 pytorch编译
• Linux 35.6 + JetPack v5.1.4之 pytorch升级
• 代码下载常见网络问题解决办法 //Jetson Orin Nano Super之jetson-fpv开源代码下载

$ cat build.sh
#!/bin/bash

git clone https://github.com/SnapDragonfly/pytorch.git
git checkout nvidia_v2.5.1
git submodule update --init --recursive

pip install "numpy<1.25" "scipy<1.11" --force-reinstall

export USE_NCCL=0
export USE_DISTRIBUTED=0
export USE_QNNPACK=0
export USE_PYTORCH_QNNPACK=0
export TORCH_CUDA_ARCH_LIST="8.7"

export PYTORCH_BUILD_VERSION=2.5.1
export PYTORCH_BUILD_NUMBER=1
export L4T_BUILD_VERSION=36.4

export USE_PRIORITIZED_TEXT_FOR_LD=1
export USE_FLASH_ATTENTION=0
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

echo "PATH:" $PATH
echo "LD_LIBRARY_PATH:" $LD_LIBRARY_PATH

python3 setup.py clean
rm -rf build/ dist/ *.egg-info
python3 setup.py bdist_wheel

• 安装torch-2.5.1+l4t36.4

下载链接：torch-2.5.1+l4t36.4-cp310-cp310-linux_aarch64.whl

$ wget --tries=10 --retry-connrefused --waitretry=5 --timeout=30 -O https://github.com/SnapDragonfly/pytorch/releases/download/v2.5.1%2Bl4t35.6-cp38-cp38-aarch64/torch-2.5.1+l4t36.4-cp310-cp310-linux_aarch64.whl torch-2.5.1+l4t36.4-cp310-cp310-linux_aarch64.whl
$ python3 -m pip install --no-cache torch-2.5.1+l4t36.4-cp310-cp310-linux_aarch64.whl torch-2.5.1+l4t36.4-cp310-cp310-linux_aarch64.whl

3. 安装torchvision

$ git clone https://github.com/SnapDragonfly/vision.git torchvision
$ cd torchvision
$ git checkout nvidia_v0.20.0
$ export BUILD_VERSION=0.20.0
$ sudo python3 setup.py install --user

4. 参考资料

【1】Linux 35.6 + JetPack v5.1.4之 pytorch编译
【2】Linux 35.6 + JetPack v5.1.4之 pytorch升级