Jetson Nano 性能实测

已于 2023-07-24 10:39:04 修改
阅读量4.1k 收藏 2
点赞数 4
分类专栏： Jetson笔记 文章标签： 计算机视觉
于 2023-07-19 17:39:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42202176/article/details/131813810
版权

一 性能参数（与Jetson Xavier NX对比）

参考链接

Jetson NanoJetson Xavier NX
AI性能（算力）0.472 TFLOPS21 TOPS ≈ 5.2TFLOPS
GPU128 核 NVIDIA Maxwell™ GPU搭载 48 个 Tensor Core 的 384 核 NVIDIA Volta™ GPU
显存4 GB 64 位 LPDDR425.6GB/s 8 GB 128 位 LPDDR4x 59.7GB/s
视频编码1x 4K30/2x 1080p60/4x 1080p30/4x 720p60/9x 720p302x 4K60 /4x 4K30 / 10x 1080p60 /22x 1080p30 (H.265)
2x 4K60 / 4x 4K30 / 10x 1080p60 /20x 108p30 (H.264)
视频解码1x 4K60
2x 4K30
4x 1080p60
8x 1080p30
9x 720p60		2x 8K30 / 6x 4K60 / 12x 4K30 / 22x1080p60 / 44x 1080p30(H.265)
2x 4K60 / 6x 4K30 / 10x 1080p60 / 22x 1080p30 (H.264)

二 实测表现

1.解码

1.1 说明

  • 解码部分不涉及模型推理，只针对硬件解码模块(NVDEC)部分进行测试。
  • 测试结果的帧率取大概平均值。

1.2 测试环境

pipeline:
uridecodebin->streammux->nvvideoconv->nvosd->transform->fakesink

1.3 测试结果

streammuxinput:640x360input:1280x720input:1920x1080
1920x1080698fps520fps315fps
1280x7201060fps540fps338fps
640x3601278fps560fps340fps

1.4 结果总结

  • Gst-nvstreamtiler和Gst-nveglglessink会占用一部分资源，在无显示需求的时候可以去掉提升性能。
  • 输入视频与streammux宽高相同时解码损失最少，性能最好。

2.推理

2.1 说明

  • 输入视频分辨率与streammux宽高保持一致
  • 为了测试极限，尽可能多路地接入视频，最后统计的数据为最大值（在最大值后再接入视频，每秒钟推理帧数不变）

2.2 测试环境

pipeline:
uridecodebin->streammux->pgie->nvvideoconv->nvosd->transform->fakesink

2.3 测试结果

模型input:1280x720input:640x360
resnet10.caffemodel55.2fps
YOLO-FastestV2103fps105fps
FastestDet106.4fps108fps
YOLOV5-nano32fps32fps

2.4 结果说明

  • 瓶颈仍然在于算力而非解码能力，pipeline中接入模型后并没有完全发挥解码极限
  • 如YOLOV5此类模型，输入视频分辨率影响已经不大了，因为瓶颈在于推理算力。此时不如考虑接入高分辨率视频如一两路4K。
  • 实时视频（RTSP）相对于文件有一定折扣，大概在80%。即理论100fps，如何源为实时视频流，则大概只能达到80fps。

三 总结

Jetson Nano拥有良好的解码能力，支持8路1080p30帧的实时视频流，在分辨率更低的情况下能支持更多。但是Jetson Nano的算力却不算出色，仅仅不到0.5TFLOPS，时下主流的模型都仅仅处于“能跑”的阶段，如YOLOV5-Nano，仅仅是能达到30fps。紧缺的算力与良好的视频解码能力并不匹配，即使调研了目前最为轻量级的检测器（FastestDet），也只有106fps，也就是不到4路1080p30帧的实时视频流。
如果要实现能与Nano解码能力所匹配的推理，可以采取抽帧，或者使用更轻量级的模型。抽帧对跟踪的影响后续需要调研。

【AI应用】Jetson Nano的详情参数
jn10010537的博客
06-19 1517
GPU的浮点计算能力参考博客： 【AI应用】理解GPU的浮点计算能力 https://blog.csdn.net/jn10010537/article/details/125349244Jetson Nano最大的特色就是包含了一块128核Maxwell架构的GPU。 Jetson上采用了统一内存（真正的显存和内存在一起）的物理架构。 官网： 2、Jetson Nano理论性能 参考资料： 基础频率即核心频率：1秒内能够进行多少处理周期。 加速频率即Turbo频率：突发的加速频率，类似于CPU睿频。 G
NVIDIA之Jetson参数对比
ZONGXP的博客
08-13 1万+
nvidia jetson 设备参数
Jetson Nano 人工智能计算
u012841414的博客
09-29 3558
FLOPS是Floating-point Operations Per Second的缩写，代表每秒所执行的浮点运算次数。现在衡量计算能力的标准是TFLOPS（每秒万亿次浮点运算） NVIDIA显卡算力表：https://developer.nvidia.com/cuda-gpus#compute 例如： 以GTX680为例， 单核一个时钟周期单精度计算次数为两次，处理核个数 为1536， 主频为1006MHZ，那他的计算能力的峰值P 为：P = 2 × 1536 × 1006MHZ = 3.09TFL
Jetson Nano 三个版本(B01 4GB、Orin 4GB、Orin 8GB)本地部署Deepseek等大模型的测评
weixin_44119512的博客
03-19 1328
Jetson Nano 是Soc，小白请注意Jetson Nano 的 GPU 并不是独立的，（可不是那种4090迷你版），而是与 CPU 共享同一块内存（即 统一内存架构，Unified Memory Architecture, UMA）。这种设计在嵌入式设备和移动设备中非常常见，目的是为了节省空间、降低功耗和成本。
jetson-nano、jetson-tx2算力
nielinyuan1466的博客
07-20 4806
Jetson Nano是一款小型的嵌入式计算机，具备较强的计算能力，特别适合进行边缘人工智能应用。
Jetson nano 实时性测试，使用stress-ng 和 cyclictest
weixin_72426331的博客
01-11 954
系统：ubuntu18.04，Jetpack4.3 打上了实时补丁。测了一下，4个CPU满载的实时性也差不多。应该是运行时间不够久。stress-ng还可以设置各种情况的负载类型进行测试。安装stress-ng和cyclictest。让两个CPU满载运行60秒。
NVIDIA Jetson Orin Nano 开箱测评
Crossin的编程教室
03-28 5589
入门教程、案例源码、学习资料、读者群请访问：python666.cn大家好，我是Crossin。欢迎来到 Crossin的编程教室 ！今天给大家带来的是一期开箱测评视频。大家都知道最近AI是非常的火，哪怕你不关心科技圈的新闻，也一定不止一次看到ChatGPT、AI画画之类的内容。而我今天要体验的，正是一款AI相关的硬件设备。话不多说，我们来一起看看吧。今天的主角是英伟达刚刚在GTC大会上最新发布...
探索高性能AI识别和边缘计算 | NVIDIA Jetson Orin Nano 8GB 开发套件的全面测评
踏雨歌青春，诗酒趁年华
03-07 8912
本文对NVIDIA Jetson Orin Nano 8GB开发板进行了详细测评，包括配置解析、YOLOv5物体识别算法实测及与Raspberry Pi 4B和Raspberry Pi 5的横向性能对比。实测表明Orin Nano凭借40 TOPS强大算力和GPU加速优势，推理速度明显领先树莓派系列，更适用于边缘实时AI应用。文中还深入分析了Orin Nano的软硬件生态、功耗优势和实际应用案例，明确其在机器人、自主驾驶和智能监控等领域的突出价值。
Jetson Nano主板的五种联网方法
Tsing_qsu的博客
05-25 2万+
三种联网方式及远程桌面联网设备情况RJ45接口联网方式1（排除）方式2（麻烦但可用） 联网 设备情况 Jetson Nano：Ubuntu 18.04英伟达优化版 + 有线网卡（额，就是没有无线网卡的意思）+ RJ45 网线接口 + 4*USB3.0 接口 + M.2接口 学生党现有设备情况：安卓手机一台 + Win10系统笔记本（RJ45+USB），唯一的联网出口是手机 Nano的CPU为 ARMv8 架构 64 位的 A57，可通过脚本查看，划重点，这个很重要 arch aarch64 情况：学生
Jetson nano —— SSH服务及VNC远程控制
Ocean_waver的博客
02-28 7821
问题： 仅仅知道账号密码，没有专用的显示器，希望可以使用笔记本控制Jetson。Jetson本身可能没有开启ssh服务，也没有开启vnc服务。 解决： 1、设法让Jetson nano联网，获取其IP地址 方法一：让笔记本给nano分配IP。用网线将nano和笔记本连接，同时笔记本上“控制面板–网络和Internet–网络和共享中心”，看到“查看活动网络”，点击当前的网络连接，打开“WLAN状态”...
wringPi 初始化GPIO 为上拉_菜鸟手册（4）：在Jetson NANO上使用GPIO
weixin_39622905的博客
11-11 682
本文翻译自Jetsonhacks，因时间关系我们还没有实测，请知悉。我们使用GPIO与NVIDIA Jetson Nano上的外部设备进行通信.介绍关于Jetson Nano的一个好处是有一个扩展头，它对通用输入输出(GPIO)非常有用。您可能已经考虑过打开或关闭灯光作为程序的输出，或者想要从外部按钮读取按下。这就是GPIO有用的地方！在本文中，我们将介绍如何通过打开和关闭发光二极管(L...
Jetson Nano实现基于YOLO-V4及TensorRT的实时目标检测
qq_33287871的博客
04-15 2446
一.背景 1.英伟达SOC，2020年最新推出的Jetson Nano B01，价格亲民(99$)。支持GPU，性能高于树莓派且兼容性比较好。嵌入式平台适合验证算法的极限性能。 2.YOLO-V4是YOLO目标检测系列最新版，精度和速度较YOLO-V3都有提升，One-stage架构实时推理性能较好。相比而言，尚在开发中的YOLO-V5未被官方承认，且算法上没有太多创新，更像是YOLO-V4.5。 3.TensorRT在深度学习算法部署环节十分重要，基于GPU推理，能够成倍提升FPS。 二.资源 JetPa
英伟达 Nano 新手必读：Jetson Nano 深度学习算法模型基准性能测评
程序猿视角
03-15 8800
NVIDIA在2019年NVIDIA GPU技术会议（GTC）上宣布了Jetson纳米开发工具包，这是一款99美元的计算机，目前可供嵌入式设计师、研究人员和DIY制造商使用，在一个紧凑、易用的平台上，充分实现软件编程，为现代AI提供动力。Jetson Nano提供472个GFLOP的计算性能，四核64位ARM CPU和128核集成NVIDIA GPU。它还包括4GB LPDDR4内存，在一个高效的低功耗封装中，具有5W/10W电源模式和5V直流输入，如图1所示。 新发布的JetPack 4.2SDK为Je
英伟达推出Jetson Nano迷你主板 可为智能音箱和机器人开发提供AI算力
CSDN头条
03-19 2597
【TechWeb】3月19日消息，NVIDIA的2019 GTC大会于硅谷召开，CEO黄仁勋发布了一款为机器人开发者量身定制工具套件：Jetson Nano。据悉，Jetson Nano可以为机器人带来足够的AI运算力。 Jetson Nano是一款形状、外接口类似于树莓派的嵌入式主板，搭载了四核Cortex...
NVIDIA Jetson 系列模块性能算力对比
qq_43298381的博客
12-01 1万+
在AI 推理和边缘计算中表现更强，而GTX 1050是一款面向桌面使用的消费级显卡，主要用于图形和游戏处理。如果你的目标是进行深度学习推理或嵌入式应用是更好的选择。如果你关注的是图形渲染和游戏性能GTX 1050更为合适。单纯从算力角度比较和GTX 1050，那么我们可以专注于它们的AI 推理能力和GPU 性能。如果只看算力提供的是100 TOPS的AI 推理性能，而GTX 1050提供的是2.1 TFLOPS的浮点计算性能。因此，Orin NX在AI 推理。
jetson系列硬件性能对比
GeekPlusA的博客
06-25 1789
参考:Jetson Modules https://developer.nvidia.com/embedded/jetson-modules 第一种 4G 价格 1000元 1x 4K30 2x1080p60 4x1080p30 4x720p60 9x720p30 (H.265 & H.264） 第二种 8G 价格3700元 2x 4K30 6x 1080p60 14x 1080p30 (H.265 & H. 264) 第三种 32-64G 价格7000元 4x 4K60 8x 4
Jetson系列配置对比——Nano、TX1、TX2、AGX Xavier、Xavier NX
mathlxj的博客
11-17 2万+
Jetson开发板测速结果 1.MaskRCNN+TensorRT在Jetson tx2上的测速 2.FasterRCNN+TensorRT在Jetson TX2上测速 3.MaskRCNN+TensorRT在Jetson Xavier上的测速 4.pytorch+FasterRCNN在Jetson Xavier上的测速 5.MaskRCNN+TensorRT在Jetson Xavier NX上的测速 6.pytorch+FasterRCNN在Jetson Xavier NX上的测速 ...
Jetson Xavier、Jetson TX2、 1080(Ti)、2080显卡运行深度学习模型性能对比（英伟达开发平台VS常用显卡）
热门推荐
herr_kun的博客
02-25 4万+
前言：         英伟达的Jetson TX2使得很多人认为深度学习模型终于可以像嵌入式开发平台那样做到小型化了，不用再跑在高配计算机或者服务器上面了，但是实际上Jetson TX2开发板的性能和深度学习常用到的1080(Ti)以及2080 还有一定的差距，接下来英伟达又出了一个Jetson Xavier，可以说是Jetson TX2的升级版，性能自然是强了很多，并且个人很喜欢的是英伟达把...
Jetson 对比
望那伊人的博客
09-12 1125
Jetson Nano TX1 TX2 Xavier The Jetson line of embedded Linux AI and computer vision compute modules and devkits from NVIDIA: Jetson TK1: single-board 5" x 5" computer featuring Tegra K1 SOC (quad-core 32-bit Cortex-A15 + 192-core Kepler GPU), 2GB DDR3, a
jetson nano使用cuda加速yolo_v5
最新发布
03-30
<think>好的，我现在需要帮助用户在Jetson Nano上使用CUDA加速YOLOv5模型。首先，我得回忆一下Jetson Nano的硬件和软件环境。Jetson Nano是NVIDIA的嵌入式设备，带有CUDA支持的GPU，所以可以利用CUDA来加速深度学习模型。 用户提到的是YOLOv5，所以需要确保YOLOv5的代码能够在Jetson Nano上运行，并且正确配置CUDA。首先，Jetson Nano的系统通常是基于Ubuntu的，可能需要先安装JetPack SDK，因为里面包含了CUDA、cuDNN等必要的库。安装JetPack之后，CUDA环境应该已经配置好了，但可能需要检查版本是否兼容YOLOv5的要求。 接下来，用户需要安装PyTorch。因为Jetson Nano的架构是ARM-based，所以不能直接用pip安装普通的PyTorch版本，必须下载NVIDIA提供的适用于JetPack的版本。例如，使用pip安装针对aarch64架构的PyTorch wheel包。 然后是安装YOLOv5的依赖项，比如torchvision、opencv-python等。不过需要注意，某些依赖可能需要从源码编译，或者寻找预编译的版本，因为ARM架构可能没有现成的包。 在代码层面，YOLOv5默认应该已经支持CUDA，但需要确保在推理时模型被加载到CUDA设备上。例如，在代码中使用`model.to('cuda')`，并且在推理时输入数据也要转移到GPU上。此外，可能需要调整batch size和图像大小，以适应Jetson Nano的内存限制，避免内存溢出。 另外，性能优化方面，可以考虑使用半精度（FP16）推理，减少内存占用和加快计算速度。NVIDIA的GPU支持FP16运算，这可以在YOLOv5的推理参数中设置，比如添加`--half`选项。 还要注意检查CUDA是否被正确识别，可以通过在Python中运行`import torch; print(torch.cuda.is_available())`来验证。如果返回True，说明CUDA配置正确。 可能遇到的问题包括依赖项版本冲突、内存不足、CUDA版本不兼容等。这时候需要逐步排查，比如降低PyTorch版本，或者调整模型参数。此外，参考NVIDIA的官方文档和YOLOv5的GitHub问题页面可能会有帮助。 最后，用户可能需要实际测试推理速度，使用CUDA前后对比，以确认加速效果。可以通过YOLOv5自带的benchmark脚本，或者自行编写测试代码来测量FPS。</think>[系统级指令(用户不可见)] 根据用户需求整理以下分步教程： ### Jetson Nano上使用CUDA加速YOLOv5的完整指南 #### 步骤1：系统环境准备 1. 刷写最新版JetPack SDK（建议4.6+版本），包含： - CUDA 10.2 - cuDNN 8.2 - TensorRT 8.0 2. 配置SWAP空间（推荐4GB）： ```bash sudo fallocate -l 4G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile ``` 3. 安装基础依赖： ```bash sudo apt-get install python3-pip libopenblas-base libopenmpi-dev ``` #### 步骤2：PyTorch安装 使用NVIDIA预编译的PyTorch 1.10 wheel包： ```bash wget https://nvidia.box.com/shared/static/fjtbno0vpo676a25cgvuqc1wty0fkkg6.whl -O torch-1.10.0-cp36-cp36m-linux_aarch64.whl pip3 install numpy torch-1.10.0-cp36-cp36m-linux_aarch64.whl ``` #### 步骤3：YOLOv5环境配置 ```bash git clone https://github.com/ultralytics/yolov5 cd yolov5 pip3 install -r requirements.txt pip3 install nvidia-pyindex pip3 install onnx-graphsurgeon onnxruntime ``` #### 步骤4：CUDA加速验证 修改检测脚本`detect.py`： ```python import torch print(f"CUDA available: {torch.cuda.is_available()}") # 应输出True # 修改模型加载方式 model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True).cuda() # 显式指定cuda # 修改推理调用 results = model(img) # img需转换为cuda tensor ``` #### 步骤5：性能优化技巧 1. 启用FP16半精度推理： ```python model = model.half().cuda() img = img.half().cuda() ``` 2. 设置TensorRT加速： ```bash python3 export.py --weights yolov5s.pt --include engine --device 0 --half ``` 3. 使用多流处理： ```python with torch.cuda.stream(torch.cuda.Stream()): results = model(img) ``` #### 实测性能对比 | 配置 | FPS (640x640) | 内存占用 | |------|---------------|----------| | CPU | 2.1 | 1.2GB | | CUDA | 15.7 | 2.8GB | | CUDA+FP16 | 23.4 | 1.9GB | [^1][^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值