Jetson Orin NX Super 的 AI 开发工具链

Jetson Orin NX Super 的 AI 开发工具链与高通 QNN（Qualcomm Neural Network SDK）的定位类似，但其基于 NVIDIA 生态的以下核心工具实现模型优化与部署：

---

1. TensorRT

• 功能：NVIDIA 的深度学习推理优化器和运行时，支持模型量化（INT8/FP16）、层融合、硬件加速 [13]。

• 对标 QNN：类似 QNN 的模型编译与硬件适配能力，但更侧重 GPU/Tensor Core 的极致性能优化。

• 关键特性：

  • 模型转换：将 PyTorch/TensorFlow 模型转换为 TensorRT 引擎，提升推理速度（如 Jetson Orin NX Super 的 LLM 推理速度提升 70% [11]）。

  • 动态张量支持：适应多模态输入（如视觉+文本联合推理）。

---

2. CUDA/cuDNN