极智AI | 英伟达 Jetson 系列边缘盒子性能测评

  本文记录了英伟达 Jetson 系列边缘盒子的性能测评小结。

  测评的 AIBox 是分别来自 浪潮、研智、米文，盒子型号包括 浪潮 Jetson Xavier NX、研智 Jetson Xavier NX、米文 Jetson Nano、米文 Jetson TX2 NX、米文 Jetson Xavier NX、米文 Jetson AGX Xavier，数据对标 浪潮 NX。

  盒子的推理性能强弱和其 GPU 架构和硬件配置强相关，关于 Jetson 系列盒子的硬件参数可以参考我的这篇《【模型推理】英伟达 Jetson 系列边缘盒子硬件参数汇总》。

  我这里主要测评的模型是我们项目中的 目标检测 和 行人重识别模型，不是经典模型，所以这里的测评数据不具有通用性，想要更加充分的评估就自己动手吧~

  测评姿势：使用的推理框架是 TensorRT，C++ API 堆叠那种，做了算子融合、低比特等优化；低比特化不同盒子不一样，如 Nano、TX2_NX 不支持 int8，故用的 fp16 精度，其余为 int8（这里主要考虑以能实际落地的精度进行性能对比）。

  给出性能对比数据：