Nvidia Jetson AGX Orin 64G深度学习环境配置的超详细教程

新手小白环境配置成功!特此开贴记录~~~

我接下来的写的内容基本上都是参考的该博客:Jetson AGX Orin安装Anaconda、Cuda、Cudnn、Pytorch、Tensorrt最全教程

Jetson系列开发板架构是arm64,因此接下来是arm64相关的环境配置,话不多说,直接进入正题

步骤1、安装jetpack

安装cuda前先安装jetpack,参考的是nvidia官方教程,即以下代码:

sudo apt upgrade
sudo apt update
sudo apt dist-upgrade
sudo reboot
sudo apt install nvidia-jetpack

最后一句命令可能要1个小时左右,在网络较好的情况下进行,如果安装中中断,再次运行最后一句命令即可,直到安装完成。

安装成功后,再安装jtop,jtop是Jetson 系列非常著名的监控工具,请执行以下指令进行安装:

sudo apt install python3-pip
sudo -H pip3 install -U pip
sudo -H pip install jetson-stats

然后执行下面启动指令就能开启这个监控工具:

jtop

会出现如下画面:
在这里插入图片描述

按 q键退出当前画面,如果启动失败,则重启orin,再次尝试。
当然这个不是重点,重点是安装jtop后,可以使用sudo jetson_release命令查看jetson版本号以及与它适配的cuda、cudnn、TensorRT、OpenCV等等版本,如下图:
在这里插入图片描述

步骤2、配置cuda环境

在桌面打开终端,输入如下命令:

vim ~/.bashrc
#在文本末输入如下代码:
export LD_LIBRARY_PATH=/usr/local/cuda/lib64
export PATH=/usr/local/cuda/bin:$PATH
export CUDA_HOME=/usr/local/cuda
#更新环境变量配置
source ~/.bashrc

查看

### Jetson AGX Orin TensorRT 安装配置及性能优化 #### 1. TensorRT 的安装与配置 对于 Jetson AGX Orin 设备而言,TensorRT 是 NVIDIA 提供的一个高性能推理库,能够显著加速深度学习模型的推理过程。为了确保最佳性能,在安装和配置过程中需要注意多个方面。 通过 JetPack SDK 可以简化 CUDA、cuDNN 和 TensorRT 的安装流程[^2]。JetPack 包含了这些组件,并提供了统一的安装工具链。具体来说: - **安装 JetPack**: 使用官方提供的图形化界面或命令行工具完成整个开发环境的一键式安装。 ```bash sudo apt-get update && sudo apt-get upgrade -y ``` - **验证安装成功**: ```bash dpkg -l | grep nvinfer ``` 这条命令会显示已安装的 TensorRT 版本信息[^4]。 #### 2. 性能优化策略 针对 Jetson AGX Orin 上运行的应用程序进行性能调优时,可以采取如下措施来提升基于 TensorRT 部署模型的表现: - **选择合适的精度模式**:支持 FP32, FP16 和 INT8 精度级别。通常情况下,INT8 能够提供更高的吞吐量并减少功耗,但在某些场景下可能会影响准确性。因此需根据实际需求权衡选择[^3]。 - **利用多线程处理能力**:充分利用 Jetson 平台上的 CPU 核心数来进行数据预处理或多批次输入准备等工作,从而提高整体效率[^1]。 - **调整批大小(batch size)**:适当增大 batch size 不仅有助于加快计算速度,还能更好地发挥 GPU 计算资源的优势;不过过大的 batch size 或者不合理的设置可能会导致内存不足等问题发生。 - **启用动态形状(Dynamic Shapes)**:当网络结构允许的情况下开启此功能可以让 TensorRT 更灵活地应对不同尺寸的数据集,进而改善延迟表现。 #### 3. 实际案例分析 在特定应用场景中,比如 YOLOv8 模型部署到 Jetson AGX Orin 上时,除了上述通用建议外还需要特别关注以下几个要点: - **转换为 ONNX 格式**:首先将训练好的 PyTorch 模型导出成 ONNX 文件形式以便后续导入至 TensorRT 中做进一步优化操作。 - **构建 TensorRT Engine**:编写 Python/C++ 程序读取 ONNX 文件并通过 API 创建对应的 TensorRT engine 对象用于执行推理任务。 ```cpp // C++ code snippet for building a TensorRT engine from an ONNX file. #include "NvInfer.h" ... nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(logger); builder->setMaxBatchSize(maxBatchSize); auto network = builder->createNetworkV2(0U); parser->parseFromFile(onnxFilePath.c_str(), static_cast<int>(logger.getSeverity())); ICudaEngine* engine = builder->buildCudaEngine(*network); ```
评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值