玩转NVIDIA Jetson (28)--- jetson clocks对tensorRT推理速度的影响

文章讲述了在jetsonnano上运行resnet18训练的CNN模型时,初期推理存在预热过程,导致耗时逐渐降低。通过运行jetson_clocks命令,能有效提高计算资源利用率,减少推理时间,使性能更加稳定。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景

jetson clocks的使用在之前文章中专门提过,这次是在使用tensorRT加速CNN的时候偶然发现了他的一些影响,记录下来,希望对其他人有所帮助。

过程

使用resnet18训练了一个CNN网络,放到jetson nano上进行推理的时候,发现前几组推理耗时比较久,五次大概是50ms 40ms 30ms 20ms这种递减的情况,随后进入了一个比较稳定的阶段,稳定在20ms左右的推理速度。当然,解决这个问题可以跳过前几次推理,但是强迫症犯了,总觉得不行。通过这个现象感觉是计算资源有一个预热的过程,没有从一开始就飚起来,所以尝试了使用jetson clocks,结果确实有用。

命令

sudo jetson_clocks

结果

可以看到,除了第一次耗时之外,后边的计算耗时就很稳定了,也解决了我的应用问题。 

### 如何在 Jetson Nano 上安装 TensorRT 的完整教程 #### 准备工作 为了确保能够在 Jetson Nano 上顺利运行 TensorRT 加速的目标检测模型(如 YOLOv3-tiny 或 YOLOv4-tiny),需要完成一系列准备工作。这包括硬件配置、软件依赖项以及必要的开发工具。 #### 步骤一:验证基础环境 确认 Jetson Nano 已经正确设置并能够正常运行 Python 和 CUDA 环境。可以通过以下命令来测试 PyCUDA 是否已成功安装,这是后续使用 TensorRT 所需的基础组件之一[^1]: ```bash sudo apt-get update && sudo apt-get upgrade -y pip install pycuda ``` 如果上述操作无误,则可以继续下一步。 #### 步骤二:安装 TensorRT 及其依赖项 通过官方渠道下载适合 Jetson 平台的 TensorRT 版本,并按照文档指导完成安装过程。以下是具体方法: 1. **获取 TensorRT 软件包** 前往 NVIDIA 官方网站或者 GitHub 存储库拉取最新版 TensorRT Pro 项目源码[^4]: ```bash git clone https://github.com/shouxieai/tensorRT_Pro.git cd tensorRT_Pro ``` 2. **修改 CMakeLists 文件** 编辑 `CMakeLists.txt` 来适配当前系统的架构与路径设定。此步骤对于构建自定义插件至关重要。 3. **编译 TRT-PY 插件** 使用 cmake 构建支持 python 接口的功能模块。执行如下脚本前,请先阅读 README 文档了解额外需求。 ```bash mkdir build && cd build cmake .. make -j$(nproc) ``` #### 步骤三:验证 TensorRT 安装状态 一旦所有必需组件都已完成部署,可通过简单的 Python 测试程序检查 TensorRT 功能是否可用[^3]: ```python import tensorrt as trt print(f'TensorRT version installed: {trt.__version__}') ``` 当终端显示类似 “8.x.y.z” 字样的输出时表示安装成功。 #### 步骤四:集成到目标检测框架中 最后一步就是将训练好的权重文件转换成 ONNX 格式再导入至 TensorRT 中实现推理优化。这里推荐参考开源项目 `tensorrt_demos`,它提供了详尽的例子展示如何结合不同类型的神经网络结构进行性能调优[^2][^5]: - 下载预处理后的 yolo 模型及相关资源; - 根据实际应用场景调整参数配置; - 启动 demo 查看效果变化情况。 以上即为完整的基于 Jetson Nano 设备利用 TensorRT 提升深度学习推断效率的操作流程概述。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Gaosiy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值