【论文阅读】 Underwater Searching and Multiround Data Collection via AUV Swarms: An Energy-Efficient AoI

论文基本信息

《 Underwater Searching and Multiround Data Collection via AUV Swarms: An Energy-Efficient AoI-Aware MAPPO Approach》
《通过AUV群进行水下搜索和多轮数据收集：一种高效的aoi感知MAPPO方法》

主要解决位置未知下的数据收集，通过数据持续产生背景来引入多轮数据收集，获得历史信息。

摘要

自动水下航行器（auv）在水声传感器网络（UWASNs）的数据收集中起着至关重要的作用。由于个体AUV的有限能力和对低延迟数据收集的需要，因此需要部署AUV群，以实现高效和安全的协作数据收集。然而，大多数现有的工作都假设了传感器节点位置的先验知识，这在现实世界的AUV网络中是不切实际的。此外，由于传感器的持续运行和集群磁头的更换，还需要考虑持续的数据收集。为了解决这些挑战，我们提出了一种基于多智能体近端策略优化（MAPPO）算法的AUV群的目标不确定性图辅助数据收集方案。具体来说，目标不确定性地图是通过利用当前和过去的搜索和收集结果来建立的，引导AUV群对包含传感器节点的概率较高的区域进行优先排序。此外，还设计了一种包含排斥性和吸引性信息素的数字信息素机制，以建立一个调整目标不确定性图的人工势场。为了进一步实现对未知环境的全面探索，我们引入了信息时代（AoI）作为一个指标。此外，我们考虑了与数据收集相关的能源消耗，以在收集和能源效率之间取得平衡，并推导了MAPPO算法实现的策略改进的下界。仿真结果表明，该方案与基线相比具有更优越的性能，在收集速率提高约15%的同时，降低了数据收集和AoI的能量消耗。

1.引言

地球上广阔的海洋，包含了超过70%的表面，大部分仍未被人类探索，只有5%的海洋被调查过[1]。这个广阔的未知海域越来越吸引了研究人员的注意和兴趣。数据科学领域的最新进展引入了海洋研究的一种新范式，为更深入地了解海洋[2]的奥秘提供了前所未有的机会。因此，数据收集在海洋科学和水下物联网（IoUT）应用程序[3]，[4]的背景中获得了极其重要的地位。此外，对海洋勘探和利用的日益增长的需求突出了水声传感器网络（UWASNs）在广泛的水下应用中的关键作用，包括水下环境监测、海洋搜索、救援行动等相关领域。在这些应用中，需要在三维水下空间密集部署大量传感器节点，收集相关数据传输到汇聚节点，汇聚节点连接到陆上数据中心进行进一步分析。与地面无线传感器网络不同，水下环境在无线无线电信号中经历了吸收和高信号衰减，而光通信则面临着严重的散射问题，[5]，[6]。在这方面，与无线电波和光通信相比，声学信号表现出较低的衰减，成为高效和可靠的数据收集的最佳解决方案。不幸的是，声信号的可用通信带宽非常有限，通信范围被限制为[7]，[8]。为了在恶劣的水下条件下实现可靠的数据传输，传感器节点消耗更高的能级。因此，在uwasn中使用多跳传输的传统方法引入了重大的安全漏洞，因此迫切需要实现节能和安全的数据收集策略。

得益于高智能和移动性，自主水下航行器（auv）已经成为从水下传感器收集数据的有价值的工具节点，利用短程声学信道来减少数据泄漏的风险，并延长网络[9]的生命周期。然而，auv的能量限制和与水下充电相关的后勤挑战是显而易见的，而AUV的能量储备的过早消耗可能会严重影响网络的整体性能。因此，有必要专门为AUV网络开发一个节能的框架。此外，值得注意的是，目前AUV数据收集的现状大多倾向于集中控制算法。此外，它通常假定对节点位置的预先确定的知识，这在现实场景中是不现实的。具体来说，水下定位算法面临着由于信号衰减和散射导致的定位范围有限、非平稳环境中的不确定性以及处理复杂声学条件[10]的限制等挑战。此外，与在水下传感器节点上实现这些算法相关的计算约束进一步影响了其[11]的精度和效率。

近年来，用于多智能体系统自主控制的多智能体强化学习（MARL）方案已经获得了大量的研究关注，[12]，[13]。与集中控制方案不同，基于marl的方法不需要显式的环境模型，可以应用于各种任务，使其广泛应用于AUV研究领域。在MARL领域，多代理近端策略优化（MAPPO）算法得到了广泛的应用。此外，MAPPO支持分布式和并行训练，支持大规模多智能体系统中计算资源的可伸缩性和高效利用。然而，MAPPO算法依赖于多个代理之间的规则交互，以促进其策略的学习和优化。随着代理数量的增加，复杂性和通信开销也会不断增加。通过这种方式，在一个大规模的多智能体系统中，协调交互和确保有效的信息交换可能是计算上的昂贵和耗时的。作为一个分布式群，利用生物启发信息素进行代理间通信，[15]具有几个优点。具体来说，它使代理能够通过释放和感知信息素来交换信息，增强了系统的鲁棒性和可伸缩性。此外，基于信息素的通信有助于长期作用效应的积累，并能够创建一个潜在的领域来指导代理的行动。因此，主体可以根据环境条件和任务要求调整其信息素行为，促进协调合作。

在水下数据采集的背景下，水下数据是连续产生的。然而，目前大多数的工作主要集中在单轮的数据收集上，但由于动态环境[16]中的数据的不断生成，解决连续数据收集的任务更加重要。为了解决上述挑战，本文提出了一种基于数字信息素的基于MAPPO的数据采集方案，以及利用AUV群获取未知水下传感器节点的目标不确定性图在三维坐标环境中，传感器节点的位置会定期更新。具体来说，利用目标不确定性图引导AUV群向传感器节点存在概率较高的区域移动，从而加快任务完成。然而，仅依赖目标不确定性图并不足以有效地协调AUV群的行为。为了解决这一局限性，本文引入了一个由数字信息素建立的人工潜力领域。为了方便多轮的迭代数据收集，我们引入了信息年龄（AoI）度量，使分布式auv能够探索更广泛的领域。其主要贡献总结如下。

1. 针对AUV群对未知传感器节点的多轮数据采集任务，提出了一种利用目标不确定性图的数据采集方案，引导AUV群走向传感器节点存在概率较高的区域。为了便于更有效的数据收集，我们设计了包含排斥性和吸引性信息素的数字信息素机制，以调整目标不确定图中的概率，促进auv之间的合作行为。
2. 为了进一步鼓励分布式auv探索更多的领域，我们引入了AoI度量，提高了数据收集效率。此外，数据收集所涉及的能源消耗被认为是为了在收集和能源效率之间达到平衡。
3. 我们设计了一个基于MAPPO的搜索和数据收集算法，在MAPPO方法的策略改进分析的下界。此外，我们用最先进的方案来评估所提出的机制的性能。仿真结果验证了该机制在收集速率和能源效率方面的优越性。

本文的其余部分组织如下。相关的工作将在下一节中进行回顾。第三节介绍了系统模型。随后，第四节提出了基于数字信息素和目标不确定性图的数据收集方案，而第五节提供了算法的总结和算法性能分析。模拟结果见第六节，然后是第七节的结论。

2.相关工作

A. Data Collection via Autonomous Underwater Vehicles 通过自主水下车辆收集数据

广泛的研究工作已经致力于利用auv作为移动收集器，以提高安全性和能源效率。Zhao等人[17]提出了一种上下文多武装强盗，它具有一个进化的中继集学习框架来进行数据收集，以应对动态环境条件和进化的中继集等挑战。Wei等[18]通过结合水下磁感应和声通信建立一个高效的水下混合无线网络，解决了功率效率问题。来解决过度AUV的问题Huang[19]等人[19]提出了一种用于数据收集任务的两阶段AUV轨迹机制，结合了贪婪算法和矩阵补全。

在水下数据收集任务中，单个AUV的低延迟要求和有限的容量带来了挑战。为了克服这些限制，部署多个auv作为一个智能群协作工作已经成为一种很有前途的解决方案。[4]等人提出了一种基于状态预测的数据采集算法，旨在减少数据采集延迟，提高网络寿命。为了解决非紧急和紧急情况，Han等人[20]提出了一个统一的AUV群任务分配框架，利用增强的自组织映射算法来优化区域学习速率、自配置神经元策略和工作负载平衡机制。此外，在[21]中提出了一种基于深度强化学习的有效数据收集方案，该方案解决了复杂水下环境中多模态传输和轨迹规划的挑战。此外，在多AUV协同数据采集算法中提出了一种基于q学习的路径规划策略，通过将数据采集任务分布在多个auv[22]之间来提高效率和减少延迟。通过利用多个auv的集体智能和协调努力，这些研究人员努力在效率、可靠性和能源消耗方面优化数据收集任务，从而提高水下传感器网络的能力。然而，上述研究都假设了传感器节点位置的先验知识，由于洋流的影响和水下定位系统固有的不准确，这在真实世界的AUV网络中往往是不切实际的。此外，集中式算法的使用引入了显著的数据处理开销和潜在的安全风险，例如在信息交互和传输期间的窃听。此外，目前的研究主要集中在单序列数据的收集上。然而，由于数据的连续生成，必须考虑多轮收集。

B. Biological-Inspired Environment Searching Strategies 受生物启发的环境搜索策略

受各种生物生物表现出的非凡集体智能的启发，在群体智能领域采用信息素驱动的探索引起了广泛关注。Gong等人[23]采用了一种基于蚁蚁的方法来解决复杂水下环境中auv的多轨迹规划问题。同样，在[24]中提出了一种受信息素启发的蚁群优化算法，通过聚合长度、能量、碰撞风险和转向约束来增强auv的路径规划。最重要的是，除了传统的引导信息素外，还加入了报警信息素，以提高搜索效率。此外，Wu等人[25]提出了一种受捕食者行为启发的控制器，该控制器通过形成一个移动传感器网络，使一群机器人能够有效地覆盖一个区域，实现了较高的灵活性和覆盖效率。此外，一种新的信息素在[26]中设计了基于更新规则的多目标蚁群系统，以优化云工作流调度，解决了大规模工作流、资源异质性和成本考虑等方面的挑战。总之，信息素的利用在增强行为协调方面具有很大的前景，提供了广泛的潜在应用。

3.系统模型

我们考虑了一个UWASN系统，由一个以N = 1,2，…，N表示的AUV群，以及几个随机分布在三维水下区域的Lx×Ly×Lz的静态传感器节点组成，如图1所示。每个AUV都配备了声纳和通信设备，以促进信息共享。每个AUV的位置可以表示为（xi，yi，zi），其中i∈N。为了简化区域勘探的表达式，我们将水下环境划分为分辨率为Lr的三维晶格单元。每个晶格单元用其中心位置（x、y、z）表示，并假设每个晶格单元中最多有一个传感器节点。在这个区域内，当每个AUV进入相应的晶格单元时，它都可以从传感器节点感知和收集数据。AUV i在时间戳t处的采集结果，记为bi、t（x、y、z）∈{0,1}，表示晶格单元（x、y、z）中是否存在传感器节点。考虑到传感器节点的数量众多，将它们聚类为M（MN）组是有效的。在每组中，当AUV接近时，只选择一个有效节点∈M = {1,2，…，M}进行数据收集并从其他节点中继数据，在下文本中定义为目标传感器节点。1然而，由于在数据采集过程中水下定位较差，目标传感器节点更换频繁，目标传感器节点的具体位置未知，但可以作为先验信息得到近似分布。在本研究中，目标传感器节点随机分布在三维水下区域[30]、[31]中。在进一步进行之前，为了方便起见，我们总结了表一后续部分中使用的主要符号。

A. Underwater Acoustic Channel Model 水下声学通道模型

在这项工作中，我们关注在浅水声传播环境[32]中的数据传输特性。与无线通信不同，水声信道具有独特的特性，可以显著影响数据传输[33]。频率为f的信号对距离为d的衰减可以用

C. Data Collection Modeling Based on AoI 基于AoI的数据采集建模

在从未知位置的节点收集数据信息时，迫切需要衡量环境探索的有效程度。为了解决这一挑战，我们引入了一个名为AoI [38]的新概念。具体来说，AoI描述了自上次搜索每个晶格点以来所经过的时间量。通过利用这些信息，我们可以识别出在很长时间内未被探索的区域，这表明对彻底调查的需求更高。通过AUV群的协作，每个晶格单元的探索范围可以通过其AoI值来量化，促进有效的数据收集和环境搜索。在搜索过程中，可以使用AoI度量来量化晶格单元的探索水平（x、y、z），这可以用

其中，初始值A（（0i，）x、y、z）=0和Amax表示可以记录的最大AoI。请注意，虽然步长设置为0.1，但它可以根据数据收集任务的特定及时性要求进行自适应调整。此外，平均环境AoI可以作为搜索效率的衡量标准，即：

4.DIGITAL PHEROMONE AND TARGET UNCERTAINTY MAP-BASED DATA COLLECTION SCHEME 基于数字信息素和目标不确定性图的数据采集方案

在本节中，我们的目标是有效地从未知位置的目标传感器节点中收集数据。我们使用目标不确定性图来引导AUV群前往具有较高传感器存在概率的区域。为了进一步加强协调，我们引入了一个由数字信息素机制建立的人工潜力场，以优化搜索和数据收集效率。具体来说，数字信息素既包含排斥信息素，又包含吸引信息素，用来防止来自同一节点的重复收集，提高新生成节点的数据收集效率。

A. Repulsive Pheromone and Attractive Pheromone 排斥性信息素和有吸引力的信息素

5.仿真结果

6.总结

补充