模块化仿真平台！SkyRover：打破边界，实现UAV与AGV协同路径规划的突破！

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

这篇文章介绍了 SkyRover，一个模块化的仿真平台，旨在支持集成的 UAV（无人机） 和 AGV（自动引导车） 多智能体路径规划（MAPF）在 3D 环境中的应用。平台结合了现实感强的 Gazebo 仿真世界、强大的 3D 网格生成器 和统一的算法封装，支持多种路径规划算法，并与外部机器人软件如 PX4 和 Navigation2 实现了无缝集成。实验在仓库和公园两种场景中展示了 AGV 和 UAV 协同执行任务的能力，特别是在库存扫描和空中货物转移等任务中的表现。文章还比较了传统的路径规划算法与基于学习的方法，展示了 DCC 等学习型方法在动态环境中的优势。此外，SkyRover 还支持低级的运动控制，适合硬件在环（HIL）测试。实验结果表明，SkyRover 在多智能体路径规划任务中具有较高的效率和成功率，未来将扩展更复杂的物理模型和传感器支持，并探索大规模分布式训练等功能。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：SkyRover: A Modular Simulator for Cross-Domain Pathfinding

作者：Wenhui Ma, Wenhao Li等

作者机构：School of Computer Science and Technology, East China Normal University等

论文链接：https://arxiv.org/pdf/2502.08969

2. 摘要

无人机（UAVs）和自动导引车（AGVs）在物流、监视、巡检等任务中日益协同工作。然而，现有的模拟器通常专注于单一领域，限制了跨领域研究的开展。本文提出了 SkyRover，一个用于 UAV-AGV 多智能体路径规划（MAPF）的模块化模拟器。SkyRover 支持真实的智能体动力学、可配置的三维环境，并提供便捷的 API 以对接外部求解器和学习方法。通过统一地面与空中操作，它促进了跨领域算法的设计、测试和基准评估。实验表明，SkyRover 具备高效的路径规划能力，并能在 UAV-AGV 协同任务中提供高保真模拟。

项目地址：https://sites.google.com/view/mapf3d/home。

3. 效果展示

(a)仓库露台世界，具有多个Holybro X500无人机和交付AGV;（B）公园场景，为无人机操作提供更多开放空间;（c）RViz中的3D占用网格。每个暗单元都有点云数据，因此被认为是一个障碍;（d）将SkyRover与面向硬件的控制器集成的示例。PX4执行无人机飞行命令，Navigation 2管理TurtleBot。

4. 主要贡献

1. 提出 SkyRover —— 一个 模块化仿真平台，用于 3D 环境中的 UAV-AGV 多智能体路径规划（MAPF），支持从离散网格规划到低级运动控制的完整流程。

2. 引入高逼真度 3D 仿真环境 —— 集成 Gazebo 仿真世界，支持 UAV 与 AGV 的真实感建模，提升仿真的物理一致性和适用性。

3. 开发 3D 网格生成器 —— 通过 Gazebo 插件，自动从 3D 场景提取 占用网格（occupancy grid），适配 搜索型与学习型 MAPF 算法，实现从仿真世界到算法训练的无缝连接。

4. 提出统一算法封装（Unified Algorithm Wrapper） —— 兼容 搜索型（3D A*、3D CBS） 和 基于学习的方法（DCC），提供标准化 API，便于算法对比和实验复现。推荐课程：如何快速上手全球最强开源飞控px4？

5. 实现高低级控制集成 —— 既支持抽象路径更新（Gazebo 位置服务），又可对接 PX4、Navigation2 进行真实机器人控制，满足算法验证和硬件测试双重需求。

6. 提供开源、高扩展性的 UAV-AGV 协作测试平台 —— 可与 ROS2、Gazebo、PX4 等机器人生态兼容，为研究人员提供灵活、可扩展的实验环境，促进 UAV-AGV 多智能体协作研究的发展。

5. 基本原理是啥？

1. 3D 环境建模与仿真：SkyRover 利用 Gazebo 仿真平台，提供逼真的 3D 仿真环境，包括不同的场景（如仓库和公园）。这些场景包含 UAV（无人机） 和 AGV（自动导引车） 模型，允许用户进行现实世界的仿真任务。这些环境通过 Gazebo 插件 提取为 占用网格（occupancy grid），并转化为 3D 网格表示，用于路径规划和多智能体仿真。

2. 3D 网格生成器：SkyRover 的核心之一是其 3D 网格生成器，它自动将 Gazebo 仿真环境中的点云数据转化为 3D 网格。这个网格被用于表示环境中的 障碍物 和 自由区域，为路径规划算法提供离散化的 空间信息。

3. 统一算法封装：为了支持不同类型的 多智能体路径规划（MAPF） 算法，SkyRover 提供了一个 统一算法封装（Unified Algorithm Wrapper），将不同的算法接口标准化。无论是 搜索型算法（如 3D A*、3D CBS）还是 基于学习的算法（如 DCC），都通过统一接口（如初始化环境、更新位置、重置仿真等）进行操作，保证算法之间的兼容性和可扩展性。

4. 路径执行与控制：高级路径规划器通常在离散的网格或图中生成路径，但实际机器人需要的是连续的控制指令。计划执行器（Plan Executor） 负责将每个智能体的规划路径转化为低级控制指令，并与外部控制框架（如 PX4 或 Navigation2）进行通信。这使得 SkyRover 不仅支持高层次的路径规划，还能够进行真实的低级控制，确保路径的实际可执行性。

5. 硬件集成与测试：SkyRover 还支持通过 ROS2 与 Gazebo 接口进行硬件仿真，允许用户通过控制外部硬件（如 PX4 无人机和 TurtleBot）来验证算法的实用性和性能。这为硬件在环（Hardware-in-the-loop, HIL）测试提供了理想平台，并支持对机器人系统进行真实环境中的运动控制与协调。

通过以上几个关键原理，SkyRover 实现了跨领域（UAV 与 AGV）的 协同路径规划，并提供了一个易于使用且具有高度扩展性的仿真平台，能够支持从基础的路径规划到复杂的机器人控制与多智能体协作任务。

6. 实验结果

在这部分实验中，我们展示了 SkyRover 仿真平台如何支持多种实验设置，尤其是在 AGV（自动导引车） 和 UAV（无人机） 协同路径规划的实际应用中：

1. 实验环境设置：

• 库存扫描任务：AGV 将货物运输到点 A，无人机悬停在 AGV 上方扫描货物并进行库存检查。扫描完成后，AGV 将货物继续运输到点 B。

• 空中货物转移任务：AGV 将货物运输到点 A，无人机到达并悬停在 AGV 上方接取货物。无人机将货物提升并运送到点 B。

• 我们使用了两个不同的 Gazebo 仿真世界：仓库（图2a）和公园（图2b）。这些场景具有不同的布局，能够展示 SkyRover 在 3D 映射、路径规划 和 可视化 方面的能力。

• 在这些场景中，我们设置了 AGV-UAV 交互任务，包括：

3D MAPF 算法：

• 实验中部署了 6 台 Holybro X500 无人机 和 16 辆 AGV，并为每个智能体分配了唯一的起始位置和目标位置。

• 通过 算法封装的初始化接口，加载了 3D A* 和 3D CBS 求解器。这些求解器计算出所有智能体的 无冲突路径。

• 在每个时间步，step 函数会将每个智能体移动到下一个目标位置，确保导航过程中没有碰撞。

• 我们还实现了 基于学习的方法 DCC（3D 版本），该方法使用 课程学习 在一个随机的 40 × 40 × 40 网格中训练了 70,000 个回合。经过训练后，该模型在 16 个智能体的测试环境中达到了 100% 的成功率。

• 与基于搜索的算法不同，学习型方法通过加载模型文件后，使用 step 函数在线推断智能体的动作，适用于动态环境中，无法进行完全预规划的情况。推荐课程：零基础入门四旋翼建模与控制(MATLAB仿真)[理论+实战]。

运动控制集成：

• 对于大多数研究，抽象的 位置更新 足以用来评估算法性能。但 SkyRover 还支持通过 PX4 和 Navigation2 进行低级 运动控制。

• 图 2d 显示了一个示例，涉及 PX4 控制的无人机 和 Navigation2 控制的 TurtleBot。这些细粒度的仿真准确地捕捉了机器人运动的 运动学和动力学约束，对于 硬件在环测试至关重要。

• 尽管这类仿真更为计算密集，但它们对于 实时控制、多机器人协调 和 安全验证 研究非常有价值。

初步结果与比较：

• 计算时间：计算或推断路径所需的总时间。

• 成功率：在一次运行中，成功到达目标且没有发生碰撞的智能体百分比。

• 所有实验均在 Ubuntu 24.04 操作系统上进行，使用 ROS 2 Jazzy、Gazebo Harmonic 和 PX4 主分支，硬件配置为 Intel i7 CPU 和 32GB RAM 的计算机。

• 表 1 展示了初步的性能指标，比较了 3D A*、CBS 和 DCC 算法在仓库场景中的表现。当总共有 22 个智能体（6 个无人机和 16 个 AGV）时，算法需要到达随机分配的目标位置。

• 这些初步对比结果展示了 SkyRover 在 统一框架 中对 MAPF 算法的评估能力，未来的工作将包括更深入的评估，扩大到更大的智能体团队，以及不同硬件设置下的运行时表现。

7. 总结 & 未来工作

结论与未来方向

本文介绍了 SkyRover，一款模块化仿真器，旨在支持 3D 环境中的 UAV-AGV 多智能体路径规划（MAPF）。SkyRover 结合了 逼真的 Gazebo 场景、强大的 3D 网格生成器、统一的经典与基于学习的算法封装，以及对外部机器人软件的无缝集成。在仓库和公园场景中的实验验证了其在离散路径规划和低级控制仿真中的灵活性。

局限性当前的主要局限包括：

• 对现实世界效应的建模尚不完整（如天气影响、传感器噪声）；

• 大规模仿真计算负担较重；

• 基于学习的方法需要大量训练数据，且超参数优化可能较为耗时。

未来方向
未来，我们计划：

• 引入更逼真的物理建模，包括 风扰动、复杂摩擦模型 等；

• 扩展传感器类型，如 LiDAR、雷达，并提升对 动态障碍物 的处理能力；

• 与城市空中交通仿真系统合作，拓展应用场景，例如多车道空中走廊（multi-lane sky corridors），用于 无人机物流配送；

• 系统性地优化大规模分布式训练方案，以支持强化学习（RL）方法，在实时环境下调度数百个智能体。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理：cv3d001

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球(点开有惊喜)，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

▲长按扫码加入星球

3D视觉工坊官网：www.3dcver.com

卡尔曼滤波、大模型、扩散模型、具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

▲ 长按扫码学习3D视觉精品课程

3D视觉模组选型：www.3dcver.com

— 完 —

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

3D视觉科技前沿进展日日相见 ~