如何在RDK的机器人操作系统(ROS2)中高效使用YOLO算法?

已于 2025-05-25 21:51:00 修改
阅读量911 收藏 20
点赞数 13
分类专栏： 地平线RDK X3系列板卡 文章标签： 机器人 YOLO 算法
于 2025-05-25 21:38:59 首次发布
复制完好用的话记得点个咱哦~
本文链接：https://blog.csdn.net/sa2672873269/article/details/148213859
版权

Demo Videos

RDK S100 Plus / RDK S100

YOLO11x, 640x640, 80 Classes, e2e 110FPS

在这里插入图片描述

https://www.bilibili.com/video/BV1EUE4zgE2V

YOLO12n, 1280x1280, 80 Classes, e2e 30FPS

在这里插入图片描述

https://www.bilibili.com/video/BV1JyjGzfEEW

8 Channel YOLO12n, 640x640, 80 Classes, e2e 8 x 30 FPS

在这里插入图片描述

https://www.bilibili.com/video/BV1RXjGzpEBU

YOLOE 11 l Seg, Prompt Free, 640x640, 4585 Classes, e2e 30FPS

在这里插入图片描述

https://www.bilibili.com/video/BV1EyjGzfEy6

RDK X5

YOLO11n, 640x640, 80 Classes, e2e 200FPS

在这里插入图片描述

https://www.bilibili.com/video/BV1NN91Y1EBP

YOLOv8n, 640x640, 80 Classes, e2e 220FPS

在这里插入图片描述

https://www.bilibili.com/video/BV12h41eYEer

YOLOv8n Seg, 640x640, 80 Classes, e2e 166FPS

在这里插入图片描述

https://www.bilibili.com/video/BV1xE4UeuEJh

Introduction to ROS2

在这里插入图片描述

机器人操作系统（ROS）是一组用于构建机器人应用程序的软件库和工具。从驱动程序和最先进的算法到强大的开发人员工具，ROS拥有您下一个机器人项目所需的开源工具。

自从2007年ROS开始以来，机器人和ROS社区发生了很多变化。ROS 2项目的目标是适应这些变化，利用ROS 1的优点并改进缺点。

在这里插入图片描述

ROS中的每个节点应负责单个模块目的 (例如，一个用于控制车轮电机的节点，一个用于控制激光测距仪的节点等)。每个节点可以通过话题、服务、动作或参数向其他节点发送和接收数据, 一个完整的机器人系统由许多协同工作的节点组成。

这些节点的开发者可以是硬件厂商, 软件厂商, 算法工程师, 机器人工程师等. 只要我们的节点符合ROS2的规范，就可以轻松的集成进一个庞大的机器人系统.

Introduction to Ultralytics YOLO

在这里插入图片描述

最新版本的广受好评的实时目标检测和图像分割模型Ultralytics YOLO11。YOLO11是建立在深度学习和计算机视觉的前沿进展，在速度和准确性方面提供无与伦比的性能。它的流线型设计使其适用于各种应用程序，并易于适应不同的硬件平台，从边缘设备到云API。

在这里插入图片描述

Ultralytics YOLO11是一个通用的AI框架，支持多种计算机视觉任务。该框架可用于执行检测、分割、OBB、分类和姿态估计。这些任务中的每一个都有不同的目标和用例，允许您使用单个框架解决各种计算机视觉挑战。

Inteoration to D-RObotics RDK

D-Robotics

在这里插入图片描述

地瓜机器人是专注机器人智能进化的底层基础设施提供商，通过提供高性能计算芯片和软硬协同、端云一体的全链路开发平台，全方位助力机器人开发与规模化落地，为人们带来更智能、更美好的体验。

RDK S100 Plus / RDK S100

  • CPU: 6 x A78AE @ 2.0GHz / 6 x A78AE @ 1.5GHz
  • BPU: 128TOPs @ int8 / 80TOPs @ int8
  • DDR: LPDDR5@6400，96bit / LPDDR5@6400，96bit
  • OS: RDK OS Based on Ubuntu 22.04

在这里插入图片描述

RDK S100 是地瓜机器人面向具身智能和机器人场景推出的高性能、大算力模组, 独特的异构设计可以同时兼顾感知推理和实时运动控制的需求, 减少控制系统的体积和复杂度.

RDK X5

  • CPU: 8 x A55 @ 1.5 GHz
  • BPU: 10 TOPs @ int8
  • DDR: LPDDR4@4266, 32bit
  • OS: RDK OS Based on Ubuntu 22.04

在这里插入图片描述

D-Robotics RDK X5搭载Sunrise 5智能计算芯片，可提供高达10 Tops的算力，是一款面向智能计算与机器人应用的全能开发套件，接口丰富，极致易用，支持Transformer、RWKV、Occupancy、Stereo Perception等多种复杂模型和最新算法，加速智能化应用快速落地。

Inteoration to TogetheROS.Bot (TROS)

在这里插入图片描述

TogetheROS.Bot是D-Robotics面向机器人厂商和生态开发者推出的机器人操作系统，旨在释放机器人场景的智能潜能，助力生态开发者和商业客户能够高效、便捷的进行机器人开发，打造具有竞争力的智能机器人产品。

TogetheROS.Bot支持在RDK平台上运行，同时提供模拟器版本在X86平台上运行。RDK平台涵盖下图所示的全部功能，X86平台支持以图片回灌方式体验部分功能，提高用户算法开发和验证效率，并能够快速迁移到RDK平台。

RDK TROS USB Camera DataFlow

在这里插入图片描述

RDK TROS MIPI Camera DataFlow

在这里插入图片描述

RDK TROS IPC Camera DataFlow

在这里插入图片描述

通过标准的ROS2 Humble 节点的的组合, TROS 可以对 USB、MIPI 和 IPC摄像头的数据进行智能分析. 同时也支持搭建多路并行式的视频流智能分析应用。

  1. IPC摄像头节点

TROS手册：https://developer.d-robotics.cc/rdk_doc/Robot_development/apps/video_boxs

对应GitHub仓库地址：https://github.com/D-Robotics/hobot_rtsp_client

  1. MIPI摄像头节点

TROS手册：https://developer.d-robotics.cc/rdk_doc/Robot_development/quick_demo/demo_sensor#mipi%E5%9B%BE%E5%83%8F%E9%87%87%E9%9B%86

对应GitHub仓库地址：https://github.com/D-Robotics/hobot_mipi_cam

  1. USB摄像头节点

TROS手册：https://developer.d-robotics.cc/rdk_doc/Robot_development/quick_demo/demo_sensor#usb%E5%9B%BE%E5%83%8F%E9%87%87%E9%9B%86

对应GitHub仓库地址：https://github.com/D-Robotics/hobot_usb_cam

  1. Codec节点：

TROS手册：https://developer.d-robotics.cc/rdk_doc/Robot_development/quick_demo/hobot_codec

对应GitHub仓库地址：https://github.com/D-Robotics/hobot_codec

  1. hobot_dnn 算法多线程推理节点
    TROS手册：https://developer.d-robotics.cc/rdk_doc/Robot_development/boxs/detection/yolo

对应GitHub仓库地址：https://github.com/D-Robotics/hobot_dnn

  1. websocket 可视化节点

TROS手册：https://developer.d-robotics.cc/rdk_doc/Robot_development/quick_demo/demo_render#web%E5%B1%95%E7%A4%BA

对应GitHub仓库地址：https://github.com/D-Robotics/hobot_websocket

如何在RDK的BPU上加速YOLO?

RDK 开发板使用了BPU（Brain Process Unit）来进行神经网络加速，这种处理器属于 NPU（神经网络处理单元）的一种。我们的 BPU 使用方式与 NVIDIA 的 TensorRT 非常相似，并且我们支持两种神经网络量化方案：训练后量化（Post-Training Quantization, PTQ） 和 感知量化训练（Quantization-Aware Training, QAT）。通常情况下，PTQ 所能达到的精度已经足够满足日常应用需求，而 QAT 更适合对精度要求更高的高级应用场景。

在 PTQ 方案下，我们使用 Ultralytics 的 YOLO 导出一个 ONNX 模型。该 ONNX 模型经过量化和编译之后，就可以被转换为可在 BPU 上加速运行的模型。

Ours:

在这里插入图片描述

NVIDIA Tensor RT 示例图：

在这里插入图片描述

NVIDIA Tensor RT: https://developer.nvidia.cn/tensorrt

RDK Model Zoo

如何编译出高效率的BPU模型给TROS使用？这里需要参考RDK Model Zoo中的YOLO的部分.

RDK S100 Plus / RDK S100 Model Zoo

在这里插入图片描述

https://github.com/D-Robotics/rdk_model_zoo_s

RDK X5 Model Zoo

在这里插入图片描述

https://github.com/D-Robotics/rdk_model_zoo

使用方法

当你参考Model Zoo的方法获得一个模型后, 修改TROS的dnn_node的workconfig.json文件即可.

目前的适配情况如下

在这里插入图片描述

结语

本文介绍了如何在RDK的机器人操作系统(ROS2)中高效使用YOLO算法，主要思想是使用Ultralytics YOLO去训练，使用Model Zoo去转化和验证，使用RDK TROS去高效Runtime.

【ROS2】地平线RDK X3Pi系统由1.x升级到3.0.0
郭老二
09-11 442
地平线RDK X3 Pi升级到3.0.0，并安装ROS2
传统轮椅逆袭！RDK + 激光雷达如何重塑出行体验？
xuguosheng1992的博客
05-16 1144
核心 “大脑” RDK X3 强势坐镇，5TOPS 边缘推理能力爆表，四核 ARM Cortex-A53 处理器搭配双核 BPU，运算飞速，轻松驾驭复杂算法。不管是室内复杂环境穿梭，还是室外广域精准导航，都不在话下！实时处理激光雷达、摄像头等多模感知数据，让轮椅秒变 “智慧行者”，精准避障、规划最优路径。
RDK X3 (旭日X3派) 使用TROS快速部署YOLOv5刷爆 30 fps ！
吴超的博客
03-22 6108
本文使用TROS.B的手册提供的方法部署YOLOv5s tag2.0的模型，在1080p分辨率输入，672*672输入，3类别达到30fps。得益于ROS2话题通讯的特性，推理部分是官方使用C++写的，而我们只需要简单的替换模型文件，写一个简单的Python订阅者节点，即可快速的将TROS的推理结果嵌入到自己的代码中。
基于RDK X3的“校史通“机器人：SLAM导航+智能交互，让校史馆活起来！
xuguosheng1992的博客
04-04 1810
视频标题：【校史馆の新晋顶流】RDK X3机器人：导览员看了直呼内卷视频文案：跑得贼稳团队用RDK X3整了个大活——给校史馆造了个"社牛"机器人！从硬件搭建到算法调试，完整开发过程大公开！基于RDK机器人开发者项目投稿可联系：yanxia.li@d-robotics.cc图文标题：基于RDK X3的"校史通"机器人：SLAM导航+智能交互，让校史馆活起来！图文内容：智慧校园：校史馆也疯狂在科技狂飙的今天，连校史馆都卷起来了！我们给校史馆配了个“社牛”机器人：这一创新让校史馆从静态展览变身智能互动空间，有望
基于地瓜RDK-X5的2D视觉识别手势跟随开发
AcessTo的博客
11-17 1484
RDK-X5在机器人灵巧手上的视觉与运动控制探究
RDK X5简单测评
2301_80440660的博客
10-15 2997
主要是给RDK X5简单写了一个测评，试用了YOLO8目标检测和火山引擎大模型网关
大象机器人推出myCobot 280 RDK X5，携手地瓜机器人共建智能教育机
xuguosheng1992的博客
04-15 1405
成立于2016年，是国家高新技术企业，深圳市专精特新中小企业，专注于协作机器人研发与应用落地，产品线涵盖轻量级协作机器人、人形机器人、仿生机器人等多种形态，其核心产品myCobot系列以“全球最轻的六轴机械臂“闻名，累计销量超数万台，覆盖全球80+国家，备受清华、复旦、麻省理工、加州伯利克、卡内基梅隆等世界顶级学府青睐，2024年共产出超100+篇学术论文。针对基础教育认知培养、职业教育技能实训、高等教育算法开发的差异化需求，myCobot 280 RDK X5 构建了覆盖全教育阶段的智能机器人开发平台。
基于RDK X5的智慧交通监控系统
xiongqi123123的博客
11-17 787
我们要实现一个智能互联网交通检测系统重中之重肯定是实现系统对车辆的识别与检测，首先我在实验室外面的阳台上用三脚架和不用的手机对校道的进行不间断拍摄用于创建真实环境下的交通数据集同时我上网寻找了一部分交通摄像头拍摄的路口车辆数据集UA-DETRAC，两者按照比例构建成了我们最终的数据集，接着使用labeling对数据集进行漫长的标记， 标记完后便可使用yolov5-2.0进行训练，训练过程省略…(一万字)…
RDK X5部署YOLO算法教程（面向小白） --RDK X5 第一期地瓜创客孵化营总结
lllllllmmz的博客
11-16 1946
RDK X5部署YOLO算法教程（面向小白）
RDK加持的导盲眼镜：视障人士的“眼睛外挂”
xuguosheng1992的博客
03-14 984
同时，使用pycharm为系统提供了软件支持，同时python3.11和python-opencv的开放码源和可拓展的特性大大提高了本系统的开发的可操作性，是该系统的开咋在软件方面具有可能性。模块支持多种卫星导航系统，包括中国的北斗二号和北斗三号全部卫星，美国的 GPS，俄罗斯的 GLONASS，日本的 QZSS，可以同时接收以上卫星导航系统的卫星信号，支持 A-GNSS 辅助定位，并且实现联合定位、导航与授时，模块具有高灵敏度、低功耗、低成本等优势，适用于车载导航、手持定位、可穿戴设备。
RDK X3 + Docker + ROS2 + Gazebo
Richard_Mei的博客
04-19 727
RDK X3 Docker ROS2 Gazebo配置
1111111111111111111111111111111111111111111111111111111111111111
07-03
11111111111111111111111111111111111111111111111111111111111111
STM32ROS机器人控制板原理图及源码
08-13
STM32 ROS机器人控制板 亚博智能 ...支持ROS机器人系统 四路独立电机驱动 四路PWM舵机接口 支持树莓派系列主控 支持JETSON系列主控 IMU九轴姿态传感器 可驱动多种车型结构 (两驱/四驱差速/麦轮/ 阿克曼转向等)
涂胶协作机器人解决方案 | Kinova Link 6 Cobot在涂胶工业的方案应用与价值
Hinyeung2021的博客
06-04 861
涂胶工业面临人工操作精度低、效率不足等痛点，Kinova Link6协作机器人提供智能化解决方案。该机器人具备7自由度灵活关节、可视化编程和视觉识别系统，能精准控制涂胶轨迹，生产效率提升50%以上，同时降低缺陷成本。作为官方代理商，显扬科技提供从产品供应到调试维护的一站式服务，助力企业实现涂胶工艺自动化升级。
Science Robotics：UCLA 贺曦敏团队综述自主软体机器人
weixin_44887311的博客
06-06 810
这些策略展示了在不依赖复杂电子控制的条件下，通过材料-结构-环境的耦合设计实现类生命体的持续运动能力。此外，文章进一步总结了基于 API实现的自持续运动在多种环境中的表现形式，包括陆地运动(如行走、爬行、翻转、滚动、跳跃)水中运动(如波动、振荡、漂浮、脉动)、潜在的空中运动(如拍翼旋转、飘浮)、以及多环境下多模态运动。作者还指出，为实现真正的系统级自主软体机器人，未来需重点发展若干关键方向，包括:扩大尺寸以突破微型尺寸的限制、能量获取与利用、群体行为、多功能集成，以及建模与仿真。
如何利用Haption力反馈遥操作机器人解决远程操作难题
欣佰特cnbestec的博客
06-05 801
远程操作在现代工业、医疗和科研领域中扮演着重要角色，但其核心难题对效率和精度形成了巨大挑战。研究表明，煤矿智能化设备的健康管理和可靠性不足，常导致数据采集不稳定，进一步影响远程操作的效率。此外，无人操作系统中设备复杂性增加，系统间的协同控制难度加大，任何设备故障都会大幅降低生产效率。针对这些问题，Haption力反馈遥操作机器人提供了突破性解决方案。其Virtuose 6D设备通过6个自由度的高精度力反馈技术，模拟真实物理环境中的操作体验。
2021 RoboCom 世界机器人开发者大赛-高职组（复赛）解题报告 | 珂学家
m0_66102593的博客
06-03 357
2021 RoboCom 世界机器人开发者大赛-高职组（复赛）解题报告。
dexcap升级版之DexWild——面向户外环境的灵巧手交互策略：人类和机器人演示协同训练(人类直接带上动捕手套采集数据)
最新发布
结构之法 算法之道
06-06 1145
因为具身订单需求源源不断，所以长远来看，我们也有源源不断的经费，支撑我们无止境的科研探索 故，最终凡是值得探索的，我们都会考虑，且我们也不想做谁谁谁，或某某中国版，而是——只做世界唯一 综上，一方面因为叠衣服这个任务，二方面，因为无止境的科研探索，故关注到了本文所要介绍的DexWild
激光干涉仪：解锁协作机器人DD马达的精度密码
chotest的博客
06-04 362
激光干涉仪如何确保协作机器人核心动力单元DD马达的旋转精度达到角秒级？SJ6000激光干涉仪+角度反射镜组+WR50自动精密转台，测量精度：±1″；分辨力：0.01″，测量结束后自动进行补偿，确保DD马达旋转精度符合要求。
js阿拉伯语首字母排序
08-29
在JavaScript中，如果你需要对包含阿拉伯语字符的字符串列表按照首字母进行排序，通常情况下直接使用`sort()`函数可能会出现问题，因为它的默认比较规则是基于Unicode编码的字典顺序，这可能导致非预期的结果。阿拉伯语字母在拉丁字母表中的顺序并不符合其语音顺序。 为了实现正确的阿拉伯语首字母排序，你需要创建一个自定义的比较函数，这个函数会考虑每个字符的正确位置。你可以利用一些库，比如`arabic-sorter`或者`localeCompare`结合Arabic locale来进行排序。下面是一个简单的例子： ```javascript const arr = ['ز', 'أ', 'ب', 'ة', 'ك']; // 示例阿拉伯语字母 arr.sort(function(a, b) { return a.localeCompare(b, "ar", { numeric: false }); // 使用阿拉伯语本地化并忽略数字 }); console.log(arr); // 输出: [ 'أ', 'ب', 'ة', 'ك', 'ز' ] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值