Game Theory and Machine Learning in UAVs-Assisted Wireless Communication Networks: A Survey(CoRR-21)

摘要

近年来，无人机(UAVs)已被用于建筑、商业交付、军事和民用战区等领域。随着应用的增加，对资源分配和能源管理的高级算法的需求也随之增加。众所周知，博弈论和机器学习是已经广泛应用于无线通信领域的两个强有力的工具，关于博弈论和机器学习在无线通信中的应用有很多研究。然而，现有的调查都集中在博弈论或机器学习，由于这一事实，目前的文章研究了在无线通信网络(U-WCNs)无人机中使用的博弈论和机器学习算法。本文还讨论了如何将博弈论和机器学习相结合来解决U-WCNs中的问题，并确定了未来的研究方向。

引语

无人机(UAVs)越来越多地被部署在无线通信网络中，主要是因为其成本低和不受限制移动[1]。值得注意的使用示例包括谷歌Loon项目[2]和Facebook Aquila项目[3]。在这些例子中，UAv作为移动基站(BS)直接为用户提供无线通信，或者作为设备和固定基站之间的中继。无人机辅助网络还可以应用于需要可靠通信或可靠身份的领域，如精确农业、搜索和救援，以及下面讨论的包裹递送。
随着最近移动和物联网(IoT)设备数量的激增，可能需要大量的UAVs来帮助建立通信网络[4,5]。例如，在精准农业中，部署了多个UA v，以协助灌溉管理、作物健康监测和养牛。由于农作物的密集分布和动物的不断流动，这些都是劳动密集型的工作。在这种情况下，集群UAVs的优势包括节省时间和降低成本[6]。在搜救任务中，一群UAv能够在极端恶劣的灾害环境中协同工作。UA v能够快速有效地搜索一个区域，识别受害者和他们的状态，然后将这些信息传递给地面20资产[7]。自动驾驶也受益于U-WCNs的进步。例如，车辆到一切(V2X)通信系统将允许车辆使用UAv连接到任何东西，UA v既可以作为车辆和基站之间的数据传输媒介，也可以作为安全增强器[8]。最后，蜂群UA Vs25最直接的应用之一是交付服务[9]。在这种情况下，UA v将包裹运送到客户的后院，并与送货卡车会合。所有这些应用不仅依赖于每架无人机的安全飞行控制，还依赖于它们的无线和可靠通信能力。
传统上，在无线通信系统中部署UA Vs面临着复杂的信道模型[10,11]、动态小区关联[11]、能量约束[11]和立法法规[12]等30个挑战。随着UA Vs部署数量的不断增加，与多智能体决策相关的新挑战也随之出现。这些挑战包括多智能体轨迹规划[13]、多智能体资源分配[14、15、16]和35用户关联[17]。
博弈论为解决多智能体决策问题和分析通信网络中各智能体之间的相互作用提供了工具。博弈理论的概念如纳什或相关均衡很适合于U-WCNs[18]。然而，随着完成40个复杂任务所需的UA Vs数量的增加，传统的博弈论算法可能变得棘手。应对这一挑战的一种可能方法是利用机器学习技术，如函数逼近[19,20]、政策梯度[21]和多智能体演员批评[22,23]。虽然关于U-WCNs45问题的博弈论[24,25]和机器学习[26,27]方法已有大量文献，但对这两个领域进行统一处理的文献很少。
本调查试图填补这一空白，首先回顾现有文献，然后提供博弈论和UAvs辅助无线通信系统的机器学习技术之间的联系。

UAvs辅助无线通信网络中的博弈论和机器学习

博弈论和机器学习是支持UAvs辅助无线通信网络应用的两大支柱。值得注意的例子包括资源管理[11,14,34,35,36,37,38,39,40,15]、定位[41,4220,43]、轨迹规划[11,41,44]、干扰管理[45,46]、通道建模[27,47]和安全[48,49,45,46]。图1展示了机器学习和博弈论在U-WCNs中的各种应用。接下来，我们将简要介绍每个应用程序，并在后面的小节中进行更详细的讨论。
资源管理[11,14,34,35,36,37,38,39,40,15]:移动设备和物联网设备的电池寿命有限，存储能力有限。因此，在UA v -蜂窝网络中，UA v需要支持数据缓存和内容中继。每个UA V可以被分配不同的任务140(缓存或中继)，也可以选择不同的用户服务。资源管理的目标是通过优化任务分配和用户选择，使运营商的收益最大化。此外，如果UA v属于不同的运营商，也需要考虑运营商之间的竞争。