Swarm of micro flying robots in the wild (一)

野外集群微型飞行机器人

我们开发了微型但完全自主的无人机，其轨迹规划器可以根据车载传感器的有限信息及时、准确地运行。规划问题满足飞行效率、避障、机器人间避碰、机器人间避碰、动态可行性、群体协调等各种任务要求，从而实现可扩展的规划器。此外，所提出的规划器根据时空联合优化对轨迹形状进行变形并同步调整时间分配。因此，即使在最受限的环境中，也可以在仅在几毫秒内详尽地利用解空间后获得高质量的轨迹。规划器最终集成到开发的手掌大小的蜂群平台中，该平台具有机载感知、定位和控制。基准比较验证了规划器在轨迹质量和计算时间方面的优越性能。各种现实世界的现场实验证明了我们系统的可扩展性。我们的方法从三个方面发展空中机器人：杂乱环境导航的能力、对不同任务需求的可扩展性以及在没有外部设施的蜂群协调。

基于自主个体无人机的发展，在这里，我们解决了如何在杂乱的野外环境中自主导航空中蜂群的基本问题，从而提高了蜂群在各种现实世界任务中的适用性。这些任务包括以下内容：（i）提供救灾。在地震和洪水等自然灾害中，一群无人机可以搜索、指导和向被困的人提供紧急供应(15)。例如，在野火 (16) 中，敏捷多直升机可以在没有人类损伤风险的情况下从前缘的近距离视图快速收集信息。(ii) 赋予生物学研究 (17)。由于无人机尺寸和重量的降低，研究人员可以在没有直接人类接触的情况下检查受限区域，以最大限度地减少生态足迹。(iii) 密集空中交通系统或现成的运输，用于落在火星上的漫游车和无人机。在这些情况下，转运蛋白在密集的建筑之间随机飞行。因此，外部和车辆间避碰都是至关重要的(18)。(iv) 协作运输。当有效载荷重量超过单个无人机的容量时，需要多无人机编队飞行(19)。

上述任务的共同要求可以分为四个方面，缩写为TEEM(轨迹最优性、可扩展性、经济计算和微型尺寸)。轨迹最优性表示任务质量和飞行时间。一个最优性相关的轨迹规划器不会在可行解上停止，而是继续尝试在所有解中找到接近最优的轨迹。这种效率在紧急情况和救援场景中尤其重要，在这种情况下，时间本质上是自然的。可扩展性是指可用应用程序的多样性，因此系统必须与各种特定于任务的目标兼容。经济计算也很重要，它允许更小的嵌入式机载计算机，将反应时间减少到环境变化和突发事件(20)，并为其他用户定义的任务(如对象检测和决策)保留尽可能多的可用计算资源。

不幸的是，一起实现这四个方面在内部是矛盾的。更高的最优性主要来自解空间中复杂的建模和更多的迭代或试验，所有这些都是以增加计算时间为代价的。更高的可扩展性要求问题以更一般的形式定义，但代价是潜在的特定于问题的优化，可以提高最优性并减少计算时间。然后，在最优性和可扩展性之间，由于施加了各种用户定义的目标，问题变得越来越复杂，这使得找到解决方案具有挑战性。只有满足安全性和可行性等一些基本要求，同时最小化空中蜂群的时间和最大化平滑度已经是一个难题(21,22,23)，在微型平台上更难同时实现。这就是为什么以前的研究无法从结构化的、人造的环境到不可预见的野生环境中采取步骤。

在现实世界中，已经部署了各种空中蜂群，包括Intel(24)、High Great(25)和CollMot(26)提出的大量令人印象深刻的无人机光。然而，在大规模和成功的商业用途之后，全球导航卫星系统定位的蜂群仅遵循预先编程的轨迹，因此不能在障碍物不可预见的地方运行。(27-29)中提出了自主户外空中植绒，其中无人机使用简单的反应规则(如势场(PF)方法实时根据他人状态调整其运动。然而，飞行过程中缺乏最优性考虑会导致动作不够连贯。这种不一致进一步使得安全所需的远邻距离[>10 m，因此在杂乱的环境中不适合。此外，虽然它们成功地模仿了大群鸟类的行为，但由于参数与特定部署场景和邻居状态紧密耦合，准确地操作每个个体是困难的。为了实现具有密集障碍物的快速和安全的集体运动，Soria等人(30)将模型预测控制纳入PF中。然而，以繁重的计算和缺乏大规模群体规模可扩展性的集中式组织为代价实现了更高的性能(30)。

除了导航算法,上述解决方案(27-30)仍然依赖于全局定位和已知环境，这阻碍了它们在野外的应用。相比之下，McGuire 等人。 (8) 通过提出一种反应性群梯度错误算法 (SGBA) 来缓解这两个要求，该算法使用光流进行定位和激光测距传感器进行障碍物检测。SGBA 在将所有传感、决策和控制纳入 30-g CrazyFlie (31) 时非常轻量级，但该属性是以低效率和可扩展性为代价的，因此更适合结构化场所和简单任务（从并返回到家）。硬件平台限制的定位不准确和单点障碍物感知进一步加剧了这种限制。(29, 8, 30) 的定性比较如图 1B 所示。Loianno等人(32)首先发布了在微型蜂群平台上使用单个摄像机和惯性测量单元(IMU)进行精确的自定位，但在稀疏已知环境中只演示了一些轨迹规划，蜂群没有进入野外。此外，他们工作中纯粹基于视觉惯性里程表 (VIO) 的定位可能会在远程飞行中漂移。为了使群体在密集环境中更有效和健壮，我们之前的工作EGO-Swarm (33,34)，提出了一种基于优化方法。部署在森林中的空中蜂群的全栈导航解决方案很少见。我们以前工作的一个限制是可扩展性的潜力缺乏可靠的验证，因为我们只使用了三个无人机。此外，规划器无法调整时间轮廓，这偶尔会产生不太最优甚至不安全的轨迹。这些缺陷仍然将杂乱野外的空中蜂群留作一个未解决的问题。

观察自然如何处理这种导航挑战，两种主流方法启发了机器人研究人员。昆虫执行短期反应动作，而鸟类更喜欢相对长期的平滑动作（35）。这是因为与昆虫相比，鸟类具有更清晰的视线和运动感、更高自由度的运动系统以及更多的大脑容量（35, 36）。这两种方法在文献中也启发了两种主流的无人机导航方法:基于反应的昆虫和用于轨迹规划方法的鸟类。在这两种方法中，前一种方法在计算和内存方面包含极其轻量级和高效的解决方案，允许更轻的无人机，而后者显示出更高的最优性和灵活性。因此，为了在现场环境中获得更高的任务效率和可扩展性，我们选择了后一种方法。在这里，我们通过将时空优化技术纳入轨迹最优性并将轨迹规划制定为目标追逐框架下的多目标优化来解决这个TEEM矛盾，以实现可扩展性。此外，上述两种特征的组合使得快速收敛，从而保证经济计算，这使得微型平台成为可能。

提出的系统解决方案

在研究了各种应用后，我们发现TEEM(轨迹最优性、可扩展性、经济计算和微型尺寸)的关键是轨迹规划，它不仅变形轨迹形状，还调整时间剖面，详尽地利用解空间并压缩无人机的能力。如果只执行空间变形(33,37)，与“基准比较”部分相比，无人机倾向于绕过等待其他人，同时通过狭窄的通道，这阻碍了后面的无人机，导致劣质甚至不安全的轨迹。因此,同时规划轨迹的形状和时间分布，也称为时空轨迹规划，对于安全高效的无人机飞行至关重要。尽管如此，这种联合优化对于多直升机来说一直是一个历史上困难的问题，因为确定轨迹的时空参数是高度耦合的(38,39)，例如，导致~40分钟计算时间最优轨迹(1)。在所提出的方法中，我们通过解耦目标函数计算中的空间和时间参数并实现表示轨迹的优化变量和中间变量之间的线性复杂度映射来实现实时时空优化。

在轨迹规划框架下，生成轨迹的任务特定要求总是可以表述为达到目标；多个目标，例如更短的飞行时间、更高的平滑度和与给定路径的接近程度；以及约束，例如避免碰撞和动态可行性。对于第一个要求，我们在目标追逐方案下构建我们的规划器，该方案不断接收用户的目标，并不断追赶最新的目标。对于第二和第三要求，它们之间的非凸性使得优化问题难以解决。为了实现高兼容性，我们采用约束转录方法（40），将所有目标和约束转换为加权惩罚。具体来说，来自约束的惩罚被分配的权重比其他目标高几个数量级。请注意，这里术语“目标”和“约束”指的是任务要求，而“惩罚”是它们形成最终成本函数的相对数学公式。然后，可以通过利用稀疏参数优化和约束转录的标准求解器快速解决轨迹规划问题。为了简化这种情况，我们提供了详细的示例，这些示例通过预先制定的通用惩罚 (GPPs) 直观地添加特定于任务的目标和约束。GPPs由时间最小化、平滑度最大化、避碰和动态组成和动力学可行性，在材料和方法中定义。该轨迹规划框架如图2D所示。

除了提出的轨迹规划外，我们还采用了在每个无人机上独立运行的视觉惯性里程计进行空中蜂群定位。然而，累积里程计漂移可能会导致无人机在继续报告时发生碰撞，保持安全距离，因此我们通过最小化车载超宽带(UWB)传感器测量的相对距离误差来开发分散漂移校正算法。

如图2(A和B)所示，每架无人机都配备了完整的感知、定位、规划和控制功能，并通过广播网络共享轨迹松散耦合。巧合但合理地说，所提出的系统类似于能够在避开障碍物和其他移动生物的同时自由飞行的鸟类。例如，在短程导航中，鸟类主要依靠眼睛及其前庭系统（41），因此，我们开发了改进的视觉惯性里程计。此外，鸟类同时调整路径和速度以避免碰撞，同时考虑飞行时间和平滑度以节省能量(35)，因此我们提出了多目标时空轨迹联合优化。除了小鸟类的能力之外，我们进一步利用了我们的电动人工系统的优势，该系统的特点是高保真无线通信用于轨迹共享，高速计算用于快速规划。此外，我们的解决方案自然满足了个体和群体智能的分散协调，提高了鲁棒性。正如 Murphy (42) 所指出的，弱集中,分布式组织表现出更高的鲁棒性和弹性，甚至可以在通信和全球定位系统 (GPS) 数据丢失时保留动作。

我们提出了一种通用的多机器人导航解决方案，允许用户合并各种特定于任务的要求，并实时生成局部时空最优运动。所提出的解决方案体现在无人机上这只是手掌大小并通过非结构化环境中的几个演示进行验证，详见结果。我们已经发布了加速空中蜂群研究所需的软件和硬件，开发人员可以部署和使用来验证他们的算法，所有这些都基于我们的平台。

结果

所提出的规划器的质量在真实的飞行和模拟中进行了评估。在现实世界的实验中，我们提出了四个概念验证但具有挑战性的应用程序，每个应用程序都根据我们的系统解决方案进行修改，以验证的不同方面性能和潜力。在模拟中，使用各种最先进的空中蜂群规划器对几个常见指标进行定量评估。

通过密林

本实验旨在演示在高度密集的野生（即竹林）中具有完全自主权的群导航，而不会伤害自己或植物。在本实验中，惩罚函数仅包含 GPPs，目标在森林之外设置为 65 m。图3I中的路径揭示了轨迹规划的一个显著优势:规划的轨迹总是直接平稳地将一个间隙连接到下一个间隙。与基于反应的方法相比，无人机总是直接在障碍物前面或击中其他无人机之前显示显式和非平滑的转弯模式(8)。从照片中，两个竹子之间的可用空间可能小于30厘米宽，因此只允许微型无人机通过。更严重的是，这些狭窄的差距进一步限制了解空间，特别是对于左侧和右侧都有邻居的无人机。当多个无人机只存在一个可用的间隙来通过时，约束变得更加紧。为了实现安全性和效率，由于下洗干扰和能量浪费，一些幼稚的手工策略，如改变高度以避免碰撞。

从照片中，两个竹子之间的可用空间可能小于30厘米宽，因此只允许微型无人机通过。更严重的是，这些狭窄的差距进一步限制了解空间，特别是对于左侧和右侧都有邻居的无人机。当多个无人机只存在一个可用的间隙来通过时，约束变得更加紧。为了实现安全性和效率，由于下洗干扰和能量浪费，一些幼稚的手工策略，如改变高度以避免碰撞。在这种情况下，我们的时空轨迹规划器通过调整时间剖面隐式地在一般问题公式中找到了解决方案，以允许多个无人机平稳地改变必要的速度，然后通过队列中的差距，与手工规则相比，从规划器的角度产生更低的成本。该过程的定量分析可以在补充材料的 S4 部分找到。

除了密集的垂直生长的竹子外，还存在其他类型的障碍，包括倾斜竹子、躯干、灌木丛低、毛刺不均匀、毛刺等阻塞摄像机(图3，A到H)，这需要在三维空间中规划轨迹。这种由不规则形状和密集分布的障碍物组成的非结构化环境验证了在大多数杂乱的地方导航的能力，例如灾难场景，更不用说在常规人工世界中了。该实验的视频是电影 2。

野外编队导航

该实验通过在 GPPs 中添加编队惩罚来证明所提出的统一轨迹规划的可扩展性。编队飞行广泛用于无人机光显示，已在协同运输 (43, 32) 中得到证明，但所有这些演示都呈现在空或手动控制的环境中。该系统将编队带入以前未知的野生环境中。在这里，编队被定义为保持首选的移动形状，这意味着无人机以固定的相对位置平移。同时，每架无人机也独立地导航到障碍物上。编队惩罚是维持编队所需位置的调节项。与“通过密集森林Fly”部分相比，本实验降低了障碍物密度，使地层可区分，但站立的灌木、低到高的树木和两个人造铁柱仍然存在，如电影3所示。

在计划的轨迹之后，蜂群飞过木材，同时保持编队。从图4 (A和D)的变形曲线和速度剖面中，我们得出结论，蜂群保持编队，尽管有时无人机必须偏离避开先前的未知障碍物，然后收集速度以捕捉编队。请注意，在时间戳 12 和 25 s 时，平均速度随着无人机避免树而自动减小，而当它们完全回到开放空间时，平均速度会增加。在这种情况下，一些个体的速度变化在没有显式预编程的情况下传播到整个编队。这种现象显示了安全性和飞行时间之间的隐式平衡，其中障碍物附近的减速为潜在的碰撞保留了更多的反应时间，并且尽可能快的加速减少了飞行时间。本实验的视频是电影 3

 密集的相互回避评估

与其他测试不同，无人机沿着相似的方向移动，避免其他测试的动作并不明显，图 5 所示的实验在受限空间中展示了随机方向飞行，因此最大化机器人间避碰的必要性。此设置模拟了摩天大楼之间密集空中交通的最基本要求：安全、高效和单独导航。为了验证10架无人机的这种能力，3米半径圆上的目标被随机分配到到达先前目标的无人机上。只采用了轨迹规划中的基本GPPs。除了飞行区域的厚树干和摄像头安装的三脚架外，为了更好地模拟飞行过程中更真实的情况，我们逐渐放置长方体和圆柱形障碍物来模拟新建建筑，穿过区域作为大移动障碍物，保持并移动无人机作为自然干扰。接下来，我们关闭所有地面定位锚（仅在本实验中使用）来模拟全局定位的损失。

由于安全性和效率是交通系统的两个主要关注点，我们评估了 3 分钟飞行期间碰撞的最小距离和完成的交付总数（总达到目标）。如图5D所示，在整个飞行过程中，每架无人机被建模为半径为7厘米的球体。尽管事件不可预测，但它们设法保持与障碍物和其他无人机的安全距离。随着时间的增加，达到目标的数量呈线性增加。因此，由于规划轨迹的局部最优性，实现了不同障碍物密度下的近恒定传输速率。该实验的视频是电影 4。

具有目标遮挡的多无人机跟踪

该实验展示了在提议的具有额外用户定义目标的小型平台上添加高数据负载硬件并在计算成本更高的软件的潜力。群体跟踪可用于多视角航空摄影和视频，近年来引起了人们的兴趣(44,45)，它们可以对参与者进行全面记录，并为后期编辑提供更多材料。为了跟踪和记录，无人机配备了额外的RGB(红绿蓝)相机，不仅可以捕捉生动的视频，还可以充当具有代表性的“高数据负载”硬件，同时运行视频压缩、数据存储和目标检测，以验证平台在计算成本昂贵的任务中的可扩展性。在我们的实验中，重点是在木材中移动的人类参与者。为了在避开障碍物和其他无人机的同时赶上人类，我们设计了一个跟踪惩罚和GPPs来规划所需的轨迹。

此外，多无人机跟踪提高了对遮挡的鲁棒性，如图6D所示，因为目标位置可以通过通信由多个无人机获取。无人机将尝试从自身和其他人那里接收和融合尽可能多的观察结果，以提高遮挡阻力。从图6的结果可以看出，人类可以在不担心无人机碰撞或丢失目标的情况下向前移动。该实验的视频是电影 5。

基准比较

我们将所提出的方法与两个最先进的规划器（即 MADER（37）和我们之前的工作 EGO-Swarm（33）进行比较。这两种规划器都属于无人机群分散、异步轨迹规划方法的类别。在这里，MADER 与密集放置的静态和动态障碍物都显示出令人印象深刻的碰撞避免。此外，在野外验证了EGO-Swarm是一个低复杂度的系统解决方案。仿真平台是具有 Intel Core i7 10700K CPU（中央处理单元）在 4.8 GHz 下运行并在 3200 MHz 下运行 24GB RAM（随机访问内存）的个人计算机，无人机并行运行独立线程以保持与现实世界、分散系统架构的一致性。

图 7A 给出了两种具有挑战性的场景中计划轨迹的可视化，即以 2 m/s 的速度通过窄门和障碍物丰富的区域飞行。缺乏时间轨迹优化的负面影响表明，MADER 和 EGO-Swarm 都为后面的无人机生成绕道以等待它们的先验。所提出的规划器显示了最平滑的轨迹，因为无人机可以调整时间剖面以实现空间避碰。

考虑到各种期望速度和平均值下的四种不同的指标，在图7B中我们评估了轨迹规划性能和障碍物间距。具体来说，将三种方法与从 1 到 3 m/s 不等的期望速度进行比较，平均障碍物间距为 2 到 1 m。在这四个指标中，最小间隙是所有无人机在整个飞行过程中的最小值。另一个是每个不同参数设置下 10 次运行的平均值。三个规划器的地图保持不变，但在 10 次运行中随机重新生成。

在图 7 中，由于时空轨迹规划能力，我们的轨迹在保证安全性的同时显示出更少的飞行时间。因为 MADER 使用 MINVO (46) 基础来参数化轨迹，EGO-Swarm 使用 B-Splines (47)，所以时间优化都存在高复杂度，因此在实时要求下是难以处理的。因此，解空间没有被充分利用，这导致轨迹质量较差。此外，所提出的方法实现了更短的计算时间，因为我们的规划器的决策变量更少，如“Trajectory 表示”部分所述。特别是，MADER优化了轨迹并且和其他无人机和障碍物分隔开,这进一步引入了额外的决策变量 。我们使用一对额外的集中式群体轨迹规划器 SCP（顺序凸规划）（48）和 RBP（相对伯恩斯坦多项式）（49）进行了更多的测试，这两者都需要全局地图和足够的时间进行离线计算，如补充材料所示。

 图7所示。基准比较。(A)轨迹形状可视化。上图：六架无人机通过狭窄的门飞行。下图：10架无人机在障碍物上飞行。所有无人机以相同的期望速度开始，并反转起始位置和目标位置的顺序，以加强相互避免碰撞。地面上网格的边长为 1 m。(B) 使用小提琴图和条形图可视化的指标比较。计算时间是用于规划的时间。最小间隙记录了从0.2米无人机半径中减去与其他无人机或障碍物的最小距离，其中负值表示碰撞。控制努力（评估平滑度）Sm ≜ ∫ j(t) 2 dt 测量整个飞行过程中平方加加速度 j 的时间积分，因为加加速度与身体转弯速率直接相关，大加加速度使无人机飞行摇晃。飞行时间测量到达给定目标所花费的时间。使用有或没有 SD 的条形图。Violin 图记录了中四分位数和四分位数，以及数据分布。具体值见表S8到S13。图和图可以使用发布的数据集(66)重新创建。

群游乐场

为了鼓励更多的参与和进一步发展，所有代码都包含在补充材料中，以激发用户友好的运行和交互，这被称为群体游乐场。在这个游乐场中，用户可以自由观看一群40架无人机，以给定的目标飞行(图8A)，观看7架无人机形成一个中心六边形(图8B)，或者观察无人机在预定义的位置或圆上的无休止随机目标(图8D)。目标可以由用户以选择和设置的方式给出，就像在视频游戏Command & Conquer 中一样：Red Alert 2 (2000)。此外，用户可以通过使用一个或多个Microsoft Xbox控制器(50)作为跟踪对象(图8E)或无人机必须避免的动态障碍物(图8F)来更深入地参与规划过程。操场中的所有静态障碍物都是随机生成的。系统参数——包括无人机数量、飞行速度、开始和结束位置——可以按照教程重新配置。此外，如果添加新目标，鼓励用户在实际部署之前评估问题制定和参数设置的正确性。该代码可以毫不费力地部署在Ubuntu 16.04、18.04和20.04上，机器人操作系统是唯一安装的依赖。群游乐场的视频是电影 6。