基于RK3588+3D视觉感知工业机器人解决方案

基于RK3588工业机器人解决方案

针对工业机器人场景，基于3D视觉感知技术，采用dToF激光雷达实现目标及环境深度信息的获取与输出，助力工业机器人实现运动避障、抓取规划、机器人配合等功能，可应用于货品周转搬运、拣选上料、装配、涂胶、检测等工业、物流业场景，目前已服务斯坦德、劢微、仙工等多家工业机器人头部厂商。

工业机器人控制板需要哪些特点呢？

智能机器人控制板作为机器人的核心大脑，需要具备一系列关键特点以支撑其高效、智能地运作。以下是智能机器人控制板所需的主要特点：

NPU加持

• 支持离线大模型：能够处理复杂的AI任务，即使在网络不稳定或离线状态下也能运行大型神经网络模型。

• 物体识别等算法：内置或可加载多种物体识别、人脸识别、场景理解等算法，提升机器人的感知能力。

• 单目测距算法：支持通过单目摄像头进行距离测量，增强机器人的空间感知能力。

• 算力灵活叠加：提供灵活的算力扩展能力，根据任务需求调整NPU的算力资源。

操作系统支持

• 支持Linux安卓系统：提供对Linux和Android操作系统的广泛支持，便于开发者选择适合的操作系统进行开发。

• Android友好设计UI：对于采用Android系统的机器人，提供用户友好的界面设计工具和框架。

• Linux标准适配ROS/ROS2：完美适配ROS（Robot Operating System）和ROS2，为机器人应用开发提供强大的生态系统支持。

智能语音交互

• 多麦克风阵列：配置多个麦克风阵列，提高语音采集的清晰度和方向性。

• 离线语音唤醒词：支持离线语音唤醒功能，即使在无网络环境下也能通过特定唤醒词激活机器人。

AMP架构支持

• 强实时性：确保机器人控制板在处理关键任务时具有极高的响应速度和实时性。

• 高稳定性：采用稳定的硬件和软件架构设计，降低系统故障率，提升机器人运行的可靠性。

• 更低的硬件成本：通过优化AMP（Asymmetric Multiprocessing，非对称多处理）架构，实现性能与成本的平衡。

ROS适配

• 适配标准ROS/ROS2：无缝集成ROS和ROS2，使机器人能够轻松接入机器人生态系统中的各类库、工具和应用程序。

• 适配部分雷达：支持多种雷达传感器（如激光雷达、毫米波雷达等），提升机器人在复杂环境中的感知能力。

• 适配RK结构光：与瑞芯微自研的结构光模组高度兼容，实现更精准的3D感知和测量。

RK3588在机器人控制板上的优势

• 高CPU算力：高达93KDMIPS的CPU算力，为机器人控制板提供强大的数据处理能力，确保机器人能够迅速响应各种指令和任务。

• 高GPU算力：高达512GFLOPs的GPU算力，支持复杂的图形渲染和多媒体处理，提升机器人的视觉感知和交互体验。

• 高NPU算力：三核NPU，算力高达6TOPs（INT8），支持深度学习框架，为机器人控制板上的AI应用提供高效、精准的算力支持。例如，在yolo-v8n模型下，单核即可达到59.6fps的推理速度，满足实时性要求高的应用场景。

• 瑞芯微自研模组：瑞芯微自研的结构光模组和RK1808计算棒等模组，为机器人控制板提供了更加专业的硬件支持，提升了机器人的整体性能和功能。

• 工规芯片标准：支持-40摄氏度到85摄氏度的宽温工作环境，确保机器人在各种恶劣环境下都能稳定运行。

基于RK3588的机器人控制板设计方案框图

• RK3588作为控制板的中央处理器，通过其内部的多核CPU、GPU和NPU处理各种计算任务。

• LP4/LP4X/LP5 DDR CTL提供高速动态随机存取内存（DRAM），支持RK3588的数据处理需求。

• eMMC 5.1 Flash用于存储操作系统、应用程序及用户数据，提供持久化存储能力。

• HDMI/eDP接口连接至高清显示屏，实现人机交互和命令控制的可视化界面。

• MIPI CSI支持最多8个摄像头输入，用于环境感知、物体识别等功能。

• RGMII 0/RGMII 1可实现Ethernet网口连接，或连接激光雷达等传感器，支持SLAM（即时定位与地图构建）和避障功能。

• PMU IO接入电源管理集成电路（PMIC）、DC-DC转换器、低压差线性稳压器（LDO）等，为系统提供稳定的电源供应。同时，支持音频编解码器（Audio Codec）的接入，以连接麦克风（MIC）或扬声器（SPK）。

• SDMMC提供SD/MMC卡插槽，用于扩展存储空间或数据备份。

• SDIO/UART/PCIE 3.0支持通过这些接口开发或连接WiFi模块、蓝牙模块、5G模块等，实现无线通信功能。同时，支持CAN接口的开发，用于电机控制等。

• USB端口用于连接深度相机（如结构光相机、ToF相机、双目相机）、雷达等外设，以及USB HUB以扩展更多USB设备。

• I2C/SMBus用于连接温度传感器、电池管理单元（BMU）等，实现电池健康监测和温度控制等功能。

• CAN口直接或通过CAN控制器接入，实现对机器人底盘电机、关节控制、速度控制等精确控制。

• 红外/超声传感器接口：通过GPIO或其他专用接口连接红外或超声波传感器，用于近距离检测或避障。