【论文阅读】Multi-AUV Collaborative Data Collection Algorithm Based on Q-Learning in Underwater Acoustic S

论文基本信息

《Multi-AUV Collaborative Data Collection Algorithm Based on Q-Learning in Underwater Acoustic Sensor Networks》
《基于水下声传感器网络q学习的多AUV协同数据采集算法》

摘要

智能数据采集是水声传感器网络的关键组成部分，在海底环境监测、海洋资源探测和海洋灾害预警等方面发挥着重要作用。由于水下环境的特殊性，如减少的基础设施和有噪声的通信信道，水下节点收集的数据通过自主水下航行器（AUV）更有效地传输到表面的控制中心。然而，随着水下任务的复杂性的增加，使用单一的AUV进行数据采集并不能满足低延迟和低功耗的要求。为了解决这一问题，提出了一种多AUV协同数据采集算法，可以减少单个AUV上的数据采集任务的负荷。该算法分为多AUV任务分配和基于q学习的AUV路径规划两个阶段。集群的数据传输被视为一组不同的任务，它们被分配给auv以供完成。随后，执行路径规划来指导auv，使任务及时完成并降低成本。仿真结果表明，该算法能够利用网络的能耗，延长其使用寿命。该算法在能耗方面的性能提高了约10%，数据收集的延迟也显著降低。

1.引言

海洋覆盖了地球表面的70%以上。随着现有土地资源的减少，海洋资源的减少必须合理地利用其用于人类的生存和开发，[1]，[2]。水下声学传感器网络（UASNs）是一种新兴的海洋资源探测技术，具有广泛的潜在应用前景：水下环境观测、海岸线监测和保护，以及[3]等领域、[4]。

这些应用程序需要支持数据收集技术。数据收集是许多应用程序的基础，如系统控制[5]、[6]和监控[7]。在uasn中，它也是优先级的。然而，uasn的某些特性导致了水下数据收集[8]-[10]的挑战。例如，节点必须进行大规模部署，以监测表面油的扩散，从而导致节点之间的多跳传输的能源消耗增加。此外，由于大量水下电磁波的散射和吸收，水下数据传输涉及到高误码率和较窄的带宽。这就导致了较大的数据传输延迟。此外，海流、海洋鱼类、海屑等水下环境的复杂性，增加了数据收集的难度。

解决这些警告的一个可能的解决方案是，通过一个自主的水下航行器（AUV），将水下节点收集到的数据传输到水面上的一个控制中心。然而，由于水下任务越来越复杂，单个AUV的数据收集不能满足低延迟的要求。因此，可以利用多个AUV之间的协作来收集减少延迟的数据，同时满足单个AUV的能量约束。此外，通过将一个网络区域划分为区域，提高多个auv的协作能力，可以显著提高数据收集的速度。

因此，水下数据采集的主要要求可以描述如下： (i)全覆盖，即使用auv的数据采集可以覆盖整个感兴趣的区域；（ii）高值，这意味着收集到的数据足以实现智能系统；（iii）短延迟，即auv及时将收集到的数据发送到接收器。在本研究中，我们提出了一种新的基于q学习的数据收集算法（QL-DGA）来满足这些要求。本研究的主要贡献是：

1. 经典的用于实时调度的契约算法[11]会产生低效的任务分配本文对该方法进行了改进，使多个auv产生更平衡的任务分配。
2. 将q-学习算法应用于AUV路径规划，以降低AUV的行驶距离和能耗。为了使AUV更快地找到目标并进一步减少数据收集延迟，本文考虑了一种采用两步操作的方法。
3. 然后，为了确定AUV访问集群的顺序，引入了接触概率的概念，该概念由包信息级别、节点的通信半径、节点的移动范围以及节点与AUV之间的距离来确定。

论文的其余部分组织如下。第二节介绍了相关的工作。网络模型、通信模型和问题描述详见第三节。该算法在第四节中已有详细阐述。在第五节介绍了仿真结果和比较分析，最后在第六节得出了结论。

2.相关工作

智能信号处理在各种监控系统中受到越来越多的关注，已成为uasn的关键技术。在水下环境中，通信质量会受到环境复杂性的高度影响。现有的数据采集算法主要分为基于聚类的数据采集和基于独立auv的数据采集算法。合理的聚类可以减少采集延迟。基于auv的数据采集算法分为单AUV数据采集和多AUV数据采集算法。在使用auv收集数据时，必须考虑各种因素，如auv[12]的单元数量、移动路径和集群访问序列等。

A. 基于聚类算法的数据采集算法

水下节点的部署相对困难，而且比较昂贵。节约能源和延长网络使用寿命是开发有效的uasn的重要方面。根据特定的水下环境和特点，将一个uasn划分为几个不同的集群，可以提高数据收集的速度，从而降低了auv的旅行成本。

由于水下环境中普遍存在的干扰，从深海到地表的可靠数据传输是一个开放的问题。基于此，Zhang等人提出了一种基于蜂窝聚类[13]的干扰感知数据传输协议。该方法将节点划分为蜂窝簇，限制了通过相邻路由路径的同步数据传输，有效地降低了干扰噪声。因此，这些数据可以更可靠地从海床传输到海面。

为了设计一种更合理的聚类方法并降低能耗消耗，Sai等人提出了一种基于磁感应的浅水监测网络[14]的数据采集算法。作者表明，在相同数量的节点下，一个六边形网络的寿命与其他配置相比，它会更大。因此，节点的部署采用了六边形特征的三维分布。也就是说，每个六边形单元格包含一个网络节点，每个非边缘节点连接到其周围的6个等效节点。这被称为“这六个连接”。根据传感器节点的剩余能量选择聚类头，并确定传感器节点之间的路径距离，并采用蚁群优化方法确定AUV的最短路径。该算法可以平衡能耗，延长网络寿命，但数据采集延迟较大。

节点聚类是被广泛认为的uasn节能方案之一。然而，现有的聚类算法大多集中于聚类头的选择。Xing等人提出了一种基于博弈论[15]的聚类方案。在这种博弈论方法中，声学传感器节点被建模为理性和自我关注的代理。这个假设被用来平衡网络的能耗。为了降低集群头的收集压力，Yan等人提出了一种基于最小加权刚性图的节点部署[16]拓扑优化方案。利用这种方法，为每个节点开发了一个优化的网络拓扑结构，并将收集到的数据转发到接收器。

一般来说，能耗和收集延迟是数据收集的两个主要不利因素。现有的算法主要集中在这些因素之一上。仅使用多跳通信进行数据传输会导致能耗不平衡。因此，数据采集通常使用auv来代替多跳传输。上述所有的算法都很注重合理的聚类。然而，auv的合理路径规划在uasn中也很重要。

B. 基于AUV轨迹规划的数据采集算法

使用auv采集数据主要有两种方法：单AUV数据采集和多AUV数据采集。在单AUV数据收集中，AUV访问节点的顺序是基于聚类来确定的。在多AUV的数据收集中，网络通常被划分为多个区域，每个AUV负责一个不同的区域从整个网络中收集数据。

Huang等人提出了一种基于聚类和矩阵补全[17]的AUV辅助数据收集方法。该方法的工作原理使用K-means算法，其中肘部方法被用来确定一个最优值。设置一个距离阈值来选择一个单独的初始聚类中心。然后，引入了一种两级AUV轨迹优化机制，有效地缩短了AUV轨迹长度。然而，这种方法出现了可能陷入局部最优的缺点，因为在初始路径规划中利用了贪婪方案。

为了提高收集数据的有效性，Duan等人提出了一种分层的AUV收集方案，该方案以信息价值（VoI）作为评估信息质量[18]的主要指标。为此，有一个接收节点选择设计了考虑VoI守恒和能量负载平衡的方法。在此基础上，研究了AUV路径规划问题，以最大化网络的路径规划率。然后采用基于蚁群优化和遗传算法的近似最优启发式算法来求解AUV路径规划问题。

Cheng等人提出了一种针对传感器（DGS）[19]的数据收集算法。该算法通过将一个AUV从网络的底部移动到顶部来收集数据，以减少多次访问一个节点的可能性。此外，多跳传输方法与auv的使用相结合。仅传输重要数据就降低了多跳传输的能耗。为了减少收集延迟，可以使用auv来收集汇总的数据。尽管这种方法使用多个auv来收集数据，但作者并没有提供关于auv如何相互合作的具体解释。

为了解决这一问题，Zhu等人提出了一种新的生物启发神经网络映射算法（BINNM）[20]。将三维水下环境划分为几个大小相等的网格，其中计算每个目标的BINN图中所有auv的活度值。然后，选择活动值最高的AUV作为相应目标的赢家AUV。获胜者AUV根据BINN策略进行路径规划。然而，这种方法过度简化了实际情况，在现实环境中可能不可能收集整个区域的数据。

Sun等人[21]的进一步发展。他们改进了Glasius生物激励神经网络算法，实现了机器人路径规划的全覆盖。他们的算法缓解了路径规划中大量计算、大量时间消耗和从死区逃逸时间长的问题。此外，它还可以提高任务执行的效率，减少路径规划的时间。

Nam开发了一种基于AUV路径规划的增强数据采集协议，即增强型割草机模式路径规划算法（ELMPP），以最大限度地提高协同数据采集[22]的任务时间。这一目标是通过设计改进的扫描路径规划来实现的，以支持远程auv和节点的统一能耗。然后，Han等人提出了一种基于UASNs事件严格划分的动态竞争数据收集算法，以解决任务分配和负载均衡[23]的问题。如前一样，集群头的访问顺序由数据包的VoI决定，每个AUV的导航位置和责任区域由空间分区决定。采用强化学习方法来规划一个子区域的路径，并利用多个auv的动态竞争来执行紧急任务。

虽然许多研究人员对水下数据收集的主题进行了研究，但水下数据收集的主要挑战仍然存在，即大延迟、能源消耗不平衡以及及时处理紧急情况的困难。在现有的方法中，大多使用一个AUV来进行数据收集。但是使用一个AUV很容易导致很大的延迟。虽然有一些研究考虑了使用多个auv，但这些研究并没有利用协作最小化成本和提高性能的策略，这会导致大量的收集延迟和能源需求。此外，为每个AUV产生有效的路径规划的方法也是一个需要检查的相关问题。由于这些原因，我们依赖于我们的工作范围，其中提出了一种基于q学习的数据收集算法。

3.网络和通信模型

A. 网络模型

这里考虑在不同的海洋深度随机部署大量节点以进行检测的情况，例如，监测某一区域内鱼类的行为。在进行鱼类监测时，需要收集它们的运动、饮食习惯和鱼类群体等信息，以便用来分析它们的生活习惯。收集的数据总量取决于这些因素，以及监测区域的大小。

如图1所示，所部署的节点根据其功能可以分为三类：一般节点、集群头和汇聚节点。一般节点通过传感器设备收集海洋数据，然后通过多跳转发将收集到的数据传输到集群头。请注意，假设该节点的位置是已知的。集群头执行接收数据的主处理，如数据融合和数据压缩。然后等待AUV在初步处理后收集数据。特别是，使用多个auv在水下收集数据，以减少集群头的等待时间。最后，auv将数据发送到水面上的一个汇聚节点，进行海洋环境检测。

需要注意的是，所有节点都是齐构的，也就是说，它们具有相同的计算和通信能力来执行指令。此外，每个节点都有一个唯一的ID，它可以使用现有的算法[24]来定位自己。它被假定为与普通节点相比，auv拥有更多的能源和存储资源。

B. 问题描述

该问题主要定义为任务分配和路径规划两个方面。通过任务分配，将整个网络的收集任务合理地分配给每个AUV。然后规划到自身任务点的路径，以减少auv的延迟和能耗。

假设在监控区域内部署了一组节点S = {s1、s2、…，sn}。这些节点根据聚类原理，生成几个簇C = {c1，c2，…，ck}，其中k<n。所形成的集群将被视为任务M = {m1、m2、…，md}。由于能量有限，一个AUV在一次旅行中只能访问有限数量的目标。每个AUV需要根据自己的情况分配适当数量的任务。一个AUV的整个驱动过程所需的能量应小于其总能量。此外，每个AUV在一次航行中需要访问所有目标一次。AUV的旅程由其所有分配的任务点组成。

每当一个AUV有任务分配时，每个AUV的相关旅程将包括它的所有任务点，即Tri = {T A1，T A2，…，T AN }，T Ai∈M，N < d。由此可以确定在AUV的路径中有N个点和（N个−1）路径段。AUV的能量消耗由推进动力能量和转弯机动能量组成。因此，ET ri定义为AUV在（N−1）路径段上使用的总能量，并由以下关系给出：

其中，Eti与AUV的路径长度有关。Eturn的定义为：

其中，θj，h为相邻两个任务点Sj和Sh之间的夹角。

考虑到上述问题的定义，auv的路径规划问题由：

其中，能量为AUV的总能量，P（T Ai）为AUV接入点T Ai的概率。直线路径比转弯需要更少的能量。也就是说，在路径规划的过程中，需要尽可能多地平衡转弯数，即AUV任务点的数量。约束(4)确保AUV的初始能量足以完成其分配的任务。约束(5)确保转弯次数最小化，从而减少机动的能量消耗。约束(6)确保AUV实际访问所有的强制性任务点。

因此，所提出的问题的优化包括两个目标： Eti和Eturn。对于Eturn，可以为AUV分配合适的任务点以减少回合数。通过缩短AUV的驱动路径，可以降低Eti。为一个AUV分配合理数量的任务点，以及如何规划更短的路径，都是需要研究的重要问题。

C. 通信模式

在[25]和[26]中详细描述了本工作中使用的水声通信模型。该模型主要考虑海洋环境中的湍流、航运活动、热噪声和风所引起的噪声干扰。通常，由于水下环境的特殊性，如对介质的吸收和硫酸镁在海水中引起的散射现象等，水声通道的通信过程表现出路径损失的特征。本研究中考虑的路径损失是根据给定的距离d和频率f计算的，如下：

其中，a0为标准化常数，k为传播损失。一般来说，k = 1.5用于实际传播。另外，a (f)表示吸收效率（以dB/km为单位），可以根据Thorp的关系[27]来描述：

根据相关的通信原理理论，可以计算出接收机侧的信噪比（SNR）：

其中，P为传输功率，B为一个信号的带宽。N (f)是考虑湍流、热噪声、航运活动和风驱动波的总噪声水平。根据所得到的信噪比，我们可以计算出具有N个符号的数据包发生传输错误的概率如下：

4.THE QL-DGA ALGORITHM

A. Overview of the QL-DGA

考虑到水下环境的特点，提出了QL-DGA的水下数据采集方法。QL-DGA可分为AUV任务分配和AUV路径规划两个阶段。首先，根据下面描述的一些条件，将节点分配给集群头。然后，为了有效地分配任务，采用了经典契约算法[28]的改进版本。通过多个auv的协同收集任务，有效地完成了整个网络的数据收集任务。第二阶段对应于路径规划，其中每个AUV计算自己的旅行路径。为此，首先通过计算接触概率，即AUV访问给定簇头的概率，来确定要访问的目标簇。然后，计算目标的访问顺序，并采用q学习的方法对目标集群进行局部路径规划。

B. Node Clustering Phase

通常，节点是随机部署的，以模拟uasn中最糟糕的情况，其中节点被聚类以有效地收集数据。负责从集群成员中收集和集成数据的集群头，首先从这些节点中选择。簇头的选择至关重要，因为它对auv的路径长度有影响。在节点部署后，接收器将知道网络中每个节点的位置。在初始条件下，一个集群头由水面上的一个水池指定，其他节点与相邻的集群头连接，形成一个集群。当能量较低时，可以在一轮数据收集结束时更换簇头。这将按照以下步骤进行。当集群头的能量小于初始能量的70%时，集群头将向接收器发送一个数据包。然后，网络将进行新一轮的集群头选择。首先，执行排序算法[13]，根据剩余能量的降值获得候选簇头的列表。然后，根据由节点维护的邻域列表信息，计算候选簇头之间的距离。最后，将正式选择距离大于特定阈值的候选簇头作为簇头。但是，如果只满足上述条件，集群头的数量可能会变得太大，任务的数量可能会任意增加。因此，成为集群头的概率需要满足防止出现过多的集群头的条件。因此，它发生的概率是根据网络的大小来设置的。

C. AUV Task Allocation

一旦网络中的节点被集群，就必须将每个集群的数据收集任务分配给特定的auv。给auv分配合理数量的任务点可以减少auv的转向数和能耗，这对应于目标的Eturn在(3)中。虽然，经典的契约算法以前已经被用于这一目的，但它有两个已知的限制：

1. 在招标阶段，信标帧采用洪水广播，效率低，能耗高。另外，也没有指定信标帧的有效时间。这可能会导致无效任务的投标。
2. 在招标阶段没有明确的招标限制。这可能导致一个任务被多次计算，从而增加不确定性。

因此，在任务分配阶段，采用改进的契约算法来解决经典契约算法存在的问题。改进后的算法模拟了一个公司的签名过程，如图2所示。它主要分为招标、提交、签字三个阶段。在招标过程中，任务由任务所有者发布。在投标过程中，有能力完成任务的表演者会竞争完成任务。在签署过程中，任务所有者和任务执行人达成合作意图，确定合作关系。在这三个阶段中，设置一定的参数来弥补经典契约算法中存在的问题，提高其整体性能。

更详细地说，该算法的工作原理如下。首先，在招标阶段，每个集群都与一个任务相关联，每个任务都由集群头发布（即投标者）。所广播的信息包括合同编号、要收集的数据包的大小、完成任务的成本和其他必要的信息。当投标者发出一个任务，且信标帧的初始传输范围小于一个固定的阈值时，在这种情况下，这个固定的阈值距离集群头有两跳。此外，信标帧的有效时间被设置为一个特定的值。当在有效时间内没有投标人时，原始信标框架无效。在增加了信标帧的发送范围后，投标者必须再次发送该任务。此步骤继续进行，直到投标人（即AUV)接收到信标帧。接下来，投标阶段在投标人收到任何信标框架后开始。当AUV接收到信标帧时，它会考虑合同的要求及其状态，以评估执行任务所需的能量以及它到达目标集群的时间。投标人的数量仅限于$P_t$。投标人根据上述条件对收到的任务进行综合评价。基于这样，AUV就可以决定是否投标该任务。如果投标数量不符合Mt≤Pt的要求，投标人将不会收到任何投标信息。最后，在签约阶段，当投标人收到投标人的投标时，选择合适的投标人并与投标人签订合同。规定投标只能与一个投标人签订合同，而投标人最多可以通过投标签订合同，其中投标受集群头数量的限制。在本研究中，根据本文的设置，Pt设置为簇头总数的40%。众所周知，AUV的能量也是有限的。因此，应该优化对这种能源的利用。因此，在分配任务时，应该考虑任务分配结果的好处。

接下来，解释了分配过程中任务收入的计算方法。任务收入由招标阶段的auv计算。如图1所示，一组auva={A1、A2、…，An}同时采集数据。要分配的任务为T = {T1、T2、…，Tm}。如果任务Tj是由AUV完成，则任务分配矩阵为

其中i=12…，m和j=12…，n。完成收集任务的成本如下：

其中，α为权重系数。而Si（Ti）是AUV完成任务Ti的路径长度。AUV的路径长度是从AUV到任务Ti的目标簇头的欧氏距离。

其中（Ax，Ay，Az）是AUV的坐标。（Tx、Ty、Tz）是目标的坐标。此外，对完成任务的AUV的奖励

其中，Pi是执行任务Ti的成功程度，即需要收集的数据包的大小与AUV完成收集任务所花费的时间之比。A（Ti）是在AUV完成任务Ti后剩余的能量量。一个完成一个任务的AUV的收入被定义为：

根据上述过程，主要评价标准如下：

1. 完成任务后的总收入E（Ti）应该是最大的。因此，AUV出价以最大的收入的任务。相反，当E（Ti）小于0时，AUV不投标。
2. 在任务分配后，应尽可能地平衡每个AUV的任务负载。因此，如前所述，每个AUV最多应该接收到集群头数量的40%。

招标终止时，招标群头对从AUV接收的信息进行筛选，确定最终的AUV。此后，集群头和AUV达到合作意向状态。然后就会认为任务分配阶段已经完成。

D. AUV Path Planning

AUV的任务决定了AUV必须移动到的位置以收集数据。接下来，AUV必须规划一个路径来确定路由。AUV的路径规划可以有效地降低巡航过程中各AUV的能耗，并与(3)中的目标Eti相对应。

本研究采用q学习[29]进行路径规划。首先，必须设定奖励价值。奖励值是AUV在特定状态下执行特定行为后环境给出的反馈。它主要用于更新q表[30]，它会影响q学习任务的学习质量和收敛速度。因此，奖励价值的选择是极其重要的。奖励价值主要基于AUV与目标集群头之间的距离。如果AUV接近目标，它就会得到奖励；否则，它就会受到惩罚（即，会产生负奖励）。以下规则用于简化奖励价值的计算：

其中dt（Vk，Aj）是t时刻AUV Aj和任务簇Vk之间的距离，dt−1（Vk，Aj）是根据欧几里德度量在前一个槽的Aj和Vk之间的距离：

其中（Ax、Ay、Az）为t时刻AUV的坐标，（Vx、Vy、Vz）为簇头的坐标。

在设置奖励值设置后，选择AUV的动作。如图3所示，动作选择以AUV为中心。AUV的实际动作空间模型被定义为六个离散的动作：上、下、左、右、前、后。在此外，当环境中出现一个角时，将添加对角线方向搜索行为。算法1描述了目标确定的具体方法。

如第IV-C节所述，集群头通过时隙t中的广播信标分配其任务。该信标包括集群头ID Vk和数据包信息级DI。假设数据包信息级别分为[31]三大类：紧急、一般和常规，其中紧急代表重要信息，必须快速处理。此外，数据包信息级的优先级高于接触概率。没有数据的集群头不发送信标。如果AUV接收到群头的信标，则计算AUV与群头的接触概率；否则，接触概率为0。AUV Aj与簇头Vk的接触概率可以从Pen函数计算：

其中，CRk为节点k的通信半径，MRk为节点k的移动范围。Pen的计算方法见[32]。AUV比较每个聚类头的接触概率，并选择接触概率最大的聚类头作为其下一个目标点。但是，对分组信息级别具有优先级，并且首先收集具有高分组信息级别的数据。如果数据包信息级别一致，则根据接触概率的值来收集数据。原来的Q学习算法只考虑一步动作对Q值的影响。q表的更新原理是

其中，γ∈[0.5,1]被称为转换因子。R（s，a）是状态s为执行动作a而获得的奖励，而δ是基于当前状态s和下一个动作a.来确定下一个状态的函数

然而，原q学习算法的收敛速度相对较差。本文采用了一种两步策略来解决这个问题。一个两步的行动可以提高AUV探索环境的速度。此外，它还可以使AUV更早地到达目标集群头，减少数据收集的延迟。因此，q表的更新原则是

处理更新后，考虑→，并计算多次Q（s，a），直到→表更新。利用Q（s，a），即下一个动作状态的Q值，以及Q（s，a），即两步后动作状态的Q值来考虑这两个步骤的影响。α是深度学习的因素，它对收敛速度有影响。α的值范围为0.5到1。当α = 1时，在q表更新中只考虑第一步。当α>为0.5时，考虑第一步和第二步，但第一步的权重相对较大。AUV的下一个动作被定义为一个上下、左右或前后的单位位移。第二步是计算相应的单位距离位移后的位置，然后将新的位置作为当前的原点，在下一次迭代中再移动一个单位距离。需要注意的是，这里的单位距离并不是一个特定的值，而是根据网络大小来确定的，目的是使模型更加通用和可扩展。

当AUV到达目标集群时，AUV会发送一个确认帧，通知其他集群其位置坐标和估计的待机时间。节点的位置可能会因水流而发生变化。因此，在AUV完成一个集群的数据收集后，另一个集群头将开始新一轮的信标发送。但是，值得注意的是，如果集群头不包含用于收集的数据，那么它就不会发送信标帧。然后迭代上述过程。

假设AUV需要访问的集群头数为n。每个AUV都被认为是一个代理。通过执行一个操作A，一个给定的代理（AUV）将达到一个状态s。AUV需要更新和维护其q表[33]。因此，该算法的空间复杂度为O（|S|·|A|）。时间复杂度约为O（|A|）。在建议的应用程序中，AUV的动作间隔为6，所达到的状态为任务点n。因此，该算法的空间复杂度为O（6n），而该算法的时间复杂度为O (1)。

5.仿真和性能分析

A. 仿真参数

为了评估该算法的性能，我们选择了MATLAB仿真环境。主要仿真参数列于表一。

在模拟中，150−500节点随机部署在1000m×1000m×1000m的三维水下环境中。三个auv用于协同数据收集。在实际场景中，节点数量的选择需要考虑要监视的目标区域的大小以及所使用的传感器节点的通信范围。auv的巡航速度设置为6 m/s。应该注意的是，auv的能量消耗仅仅是相对于绝对位移的能量。同时考虑到水流，auv的单位能耗近似为7 J/m，以增加一些合理的安全裕度。节点的分组转发设置为每轮100个包，包大小为1024位。数据速率是生成数据包的速率。参数的选择取决于网络规模上的具体情况。一般将能量阈值设置为初始能量的70%，簇头之间的距离不小于网络范围的1/5。满足这两个条件的节点有40%的概率被选择为集群头。仿真场景如图4所示，其中蓝点表示节点的位置。簇头的位置用红色的圆圈表示，绿色的星号表示auv的位置。我们将所提出的QL-DGA与现有的BINNM [20]和ELMPP [22]进行了比较。比较是基于网络寿命、能源消耗和收集延迟。网络生命期是指从网络初始化到第一个能量耗尽节点出现在网络中的时间。能耗是指节点中各节点的平均能耗数据收集的一次迭代。数据采集延迟包括auv的待机时间和导航时间。

B. 结果与分析

与不同算法的比较：QL-DGA、BINNM和ELMPP在同一环境下进行了比较。他们使用不同的方法收集数据。所有算法的节点数在150到500的范围内逐渐增加。由于水下网络拓扑结构的动态变化，在每次数据采集迭代中，auv的能量消耗都有所不同。因此，我们分析了能源消耗和网络寿命。

单位能耗与节点数的关系如图5所示。对于所测试的算法，单位能耗随着节点数的增加而降低。与其他两种算法相比，QL-DGA的能耗相对较低。可以看出，QL-DGA的能耗性能相对较好。ELMPP的能量消耗明显高于QL-DGA和BINNM。这说明在ELMPP中，auv的驱动路径采用巡航模式，auv穿越整个网络。当等待AUV到达时，节点会消耗更多的能量。另一方面，BINNM的性能不稳定，具有较大的变异性。不同节点数下的网络寿命如图6所示。一般来说，网络寿命的趋势与能源消耗的趋势相反。如图6所示，该算法的网络寿命明显高于ELMPP算法。与BINNM相比，所提出的QL-DGA具有相对较长的寿命周期，并显示出足够的性能。因此，网络的使用寿命是相对最优的。该算法采用多个auv进行协作，从而降低了节点内多跳转发的能耗。从而提高了该算法的网络使用寿命。

---

TODO

6.总结

补充