【论文阅读】Learning-Aided Multi-UAV Online Trajectory Coordination and Resource Allocation for Mobile WSN

论文基本信息

《Learning-Aided Multi-UAV Online Trajectory Coordination and Resource Allocation for Mobile WSNs》
《用于移动无线传感网络的基于学习辅助的多无人机在线轨迹协调与资源分配》

IEEE Conference on Computer Communications Workshops, INFOCOM Wksps

摘要

在本文中，我们考虑了一个多无人机支持的无线传感器网络（WSN），其中多架无人机（uav）从多个随机移动的传感器节点（SNs）收集数据。我们的目标是最小化所有SNs的长期平均能量消耗，同时满足其对无人机的平均数据率的要求和能量约束。我们通过联合优化多无人机的飞行轨迹、通信调度和SN的关联决策来解决这个问题。特别地，我们将其表示为一个多阶段的随机混合整数非线性规划（MINLP）问题，并设计了一个集成了李亚普诺夫优化和深度强化学习（DRL）方法的在线算法。具体地说，我们首先应用李亚普诺夫优化方法，将原始的多阶段随机MINLP问题解耦为一系列每槽确定性MINLP子问题。对于每个插槽问题，我们使用model-free DRL来获得最优的整数无人机-sn关联和基于模型的方法来优化无人机的轨迹和资源分配。仿真结果表明，我们提出的在线算法虽然通信环境随机快速变化，但能够产生实时求解，获得较高的系统性能，满足所有约束条件。

1.引言🐂

无线传感器网络（WSN）由于其部署灵活性、低成本和强大的数据采集能力，在战场监测、环境监测、视频流和目标跟踪[1] - [3]等领域得到了广泛的应用。一般来说，WSN由大量由电池供电的传感器节点（SNs）组成，更换或充电不方便、成本昂贵。因为SNs和数据采集中心的距离在WSN中可能变化很大，数据传输时消耗的能量可能差异很大，这可能导致一些传感器的早期能量消耗。固有的电池约束不公平问题极大地降低了wsn的使用寿命。与此同时，无人机（UAV）技术的成熟和不断下降的制造成本使得无人机在民用和军用[4] - [6]领域的激增。利用无人机作为移动接收器在无线无线信网络中采集传感数据，可以有效缓解传统无线信网络中存在的上述问题。具体来说，无人机可以接近SNs，以减少SNs数据传输消耗的能量，延长WSN [7]的寿命。除了考虑信网络在通信上的能量消耗外，为了可持续的无人机运行，设计无人机轨迹以减少无人机推进的能量消耗也很重要。

轨迹优化和通信资源分配的联合优化以达到最佳的能源效率已经得到了广泛的研究。Zeng等[8]考虑调度一架无人机与多个固定的SNs进行通信，并关注通过轨迹优化来最小化通信吞吐量约束下的无人机能耗。考虑到无人机的能源预算，[9]使所有SNs之间的最大能耗最小化。Zhan和Huang [10]提出了无人机推进能量和SN通信能量之间的性能权衡。特别是，通过联合优化无人机轨迹、任务时间和唤醒调度，最小化无人机和sn的加权和能耗。与在[8] - [10]中使用单架无人机收集数据不同，在[11]中，作者考虑使用多架无人机以“飞行和悬停”的方式从固定的SNs中收集数据。通过联合优化无人机的飞行轨迹、唤醒调度和无人机-sn关联，降低了任务完成时间和传感器网络的能耗。

大多数现有的工作都假设用户的位置是固定的，并采用离线算法来优化无人机的飞行轨迹和资源分配。事实上，在许多场景中，如战场和手机游戏，用户的位置和相关的实时传输需求可能会频繁变化。因此，需要一种在线实时算法来优化无人机的飞行轨迹和资源分配。在[12]中，Yang等人考虑单无人机MEC系统为随机运动用户服务。他们利用李雅普诺夫优化方法设计在线无人机轨迹，在无人机平均能耗约束下，使地面移动用户的加权和平均能耗最小化。[13]最近的工作考虑了一个多无人机辅助的下行无线网络，其中地面终端是可移动的。它使用受约束的深度q网络设计了多架无人机的三维轨迹，以最大限度地提高实时下行能力，同时保证所有地面终端在最后期限内得到服务。然而，无人机的能源消耗并不是主要的设计问题。为了服务于多架能量受限无人机的移动用户，需要协调运行轨迹和资源分配，以减少无人机和sn的能耗，同时满足系统性能要求，这需要快速的在线算法。

在这项工作中，我们使用多无人机从未知移动模式的移动信噪收集数据。我们的目标是设计一种在线算法，在无人机平均能耗和SN传输速率约束下，最小化SNs的加权和传输能耗。这就需要无人机轨迹的在线决策、UAV-SN通信关联和通信资源的分配。我们将其表示为一个多阶段随机混合整数非线性规划（MINLP）问题[14]。为了应对它，我们采用了一个集成的学习和优化框架。首先，我们利用李亚普诺夫优化方法将原问题解耦为确定性MINLP子问题。然后，我们用一个提出的低复杂度算法来解决每个插槽子问题。具体来说，我们使用无模型DRL来解决硬组合无人机-sn关联问题，并使用基于模型的优化来控制每个无人机的轨迹和传输时间分配。仿真结果表明，该在线算法不仅能快速生成高质量的解决方案，而且能满足所有的长期性能要求。

2.SYSTEM MODEL AND PROBLEM FORMULATION

3.LYAPUNOV-BASED DECOUPLING OF (P1)

4.ONLINE JOINT OPTIMIZATION OF RESOURCE ALLOCATION AND UAV TRAJECTORY

5.仿真结果

6.总结

补充