吴超的博客

本文在地平线对YOLOv8s的Backbone修改的基础上，提出一种在地平线Bernoulli2架构BPU上部署YOLOv8的后处理思路。使用640×640分辨率，80类别基于COCO数据集的预训练权重，让BPU加速Backbone的Neck的部分，推理时间约62ms，使用numpy优化的后处理部分，约8ms。并使用高效的Dataflow，充分利用X3的计算资源，Python多进程推理+Web推流的方式完成了一个30fps的实时目标检测demo。本文所有程序均开源。

该方法可以在Ubuntu的开发机上生成一个img镜像，后续可以直接使用rufus软件烧录备份好的镜像。

在RDK X3 的20.04系统镜像中, 运行的TROS是基于ROS2 Foxy Server版编译的, 其中672 × 672 分辨率, 80类别的YOLOv5s模型, 推理节点后处理约65ms, 约25fps. 参考TROS手册:最近在RDK X3的22.04系统镜像中, 基于ROS2 Humble Server的新版TROS对YOLOv5s的推理节点后处理又优化了一版, 只需要50ms, 不仅仅减少了单帧延迟, 还将80类别模型的分辨率提高到了30fps.

使用TROS的功能，通过USB或者mipi摄像头得到MJPEG数据，推理YOLOv5节点，得到目标检测结果，通过ros_rtsp将nv12数据变成标准的H264/H265码流推出。

在使用XJ3和J5的算法工具链的性能实机测试时，需要在板端安装和两个工具，目前RDK X3, RDK X3 Module的OE最新版本为2.6.4，RDK Ultra使用J5的OE，版本为1.1.68.按照OE的方法安装比较麻烦，需要ssh远程安装，但是详细看安装脚本也只是scp了文件到指定目录，所以这里直接放到社区给大家wget，使用起来更方便。百度网盘链接：https://pan.baidu.com/s/1W-HBPH0_trXx7MVOUxqkFg?pwd=09a8提取码：09a8。

TROS跑YOLOv5: https://developer.horizon.cc/documents_tros/boxs/detection/yolo。/opt/tros/share/dnn_node_example/launch/dnn_node_example.launch.py, 79-89行。/opt/tros/share/dnn_node_example/launch/dnn_node_example.launch.py, 79-89行。运行一小会, 打印一些帧率信息后, Ctrl+C结束。

RDK X3, RDK X3 Module使用XJ3的：https://developer.horizon.cc/forumDetail/136488103547258769。RDK Ultra使用J5的：https://developer.horizon.cc/forumDetail/118363912788935318。看着改，挂载的文件目录也看着改。网络上教程非常多，装上即可。并使用docker加载。

这时候我们再去ssh终端中运行一个带有imshow的OpenCV程序，就可以成功运行了，窗口会显示在xfce桌面上，可以通过VNC去看。而桌面环境登录的用户是sunrise，所以ssh登录也登录到sunrise。RDK X3系统镜像有两个用户：一个sunrise，一个root。step2：设置允许别的用户启动窗体程序。step1：ssh登陆到X3。

注意：仅仅代表作者手上2张SD卡的速度，eMMc为32GB. 测试结果可能存在不严谨之处，仅供参考。进入eMMc的系统，同时插入SD卡，将SD卡挂载后，分别测试1GB文件连续写入的速度.mmcblk0是eMMc, mmcblk2是SD Card。

【代码】USB摄像头取流测试。

YOLOv10的厉害之处: 干掉了nms过程，变成nms-free. 也就是说对8400个bbox，每个bbox的80类别，阈值筛选完了就是最终的结果了，不用nms过程再去干掉重复识别的目标了。

因为300不是32的整数，所以向上取整到320，可以通过后期裁剪来去掉绿色区域。暂时的解决方法是利用numpy的接口对获得的nv12图像进行裁剪，将 300 x 320 的nv12图像裁剪为300 x 300 的nv12图像，大约有 2.4ms 的时间开销。

系统镜像版本：2.0.0 稳定版（release）, 2.1.0 稳定版（release）

此教程使用2.0.0以上系统镜像, 在RDK X3 硬件1.0板卡, 硬件2.0板卡, RDK X3 Module(SD卡), RDK X3 Module(eMMc)均测试通过.主要是方便大家在X3上运行端侧的语言大模型llm。

该方法可以在Ubuntu的开发机上生成一个img镜像，后续可以直接使用rufus软件烧录备份好的镜像。

本文使用TROS.B的手册提供的方法部署YOLOv5s tag2.0的模型，在1080p分辨率输入，672*672输入，3类别达到30fps。得益于ROS2话题通讯的特性，推理部分是官方使用C++写的，而我们只需要简单的替换模型文件，写一个简单的Python订阅者节点，即可快速的将TROS的推理结果嵌入到自己的代码中。

部分开发者反映自己在2.0.0的系统可以正常使用的显示器在2.1.0的系统不能使用，这里可能是分辨率问题导致的，分辨率是根据握手信号自动设置的，不过有些显示器的信号传递有问题，就会读取不到，这种一般需要通过vnc在桌面上配置一下显示分辨率，之后启动就会使用配置的分辨率进行显示。

如何在RDK X3上配置TROS/ROS2功能包的开机自启动？

RDK Ultra介绍: https://developer.horizon.cc/rdkultra。系统镜像版本：1.0.1 稳定版（release）

注意：最新的2.1.0（release）系统均可烧录在1.0和2.0的板卡上，1.x.x的系统只能烧录在1.0的板卡上。

本文实现了RDK X3（旭日X3派）和ESP32通过UART串口双向通讯，实现字母+数字的复合通讯需求。并且，所有的通讯部分均使用非阻塞式的函数，未来使用时，只需要在程序主循环中按照一定的频率调用这个非阻塞式的函数来检查串口收发即可。代码托管在GitHub：https://github.com/WuChao-2024/UART_X3_ESP32。

该应用基于Web网页打造,支持RDK X3, X3 Module和RDK Ultra, 无论是什么品牌的电脑和手机,只需要在浏览器访问即可.代码托管在GitHub: https://github.com/WuChao-2024/RDK_Web_Performance_Node也可在本文末尾附件获取.