目录
一、概述
翻译：基于强化学习的民用飞机机载用户能效数据访问- -启用Sagin
期刊：IEEE Transactions on Green Communications and Networking
doi：10.1109/TGCN.2021.3061631
链接：https://ieeexplore.ieee.org/document/9361631
二、个人总结
【24.4.28】过了好久，又看了一遍。再补充一下：CA会同时向航空自组网（本文里就是CH）和Internet节点（卫星和地面基站）发送请求，所以在一个时隙里CH可能会接收到好几个CA的请求，本文就用强化学习算法决定CH该给哪个CA服务。在CH里会排队。CH接到这个请求时，会先查内容列表，就是提前缓存下的内容，如果列表里有的话，就返回给CA，如果没有的话，就还是发给地面基站和卫星，然后更新这个列表。
场景：机载用户互联网接入服务，受制于航空自组网（AANET，aeronautical ad hoc network）节点（资源有限，无法及时处理，得排队）和互联网节点（卫星：延迟高；地面：覆盖有限）可用性的机载用户数据访问问题。方案：其中每个用户CA可以同时向AANET节点和Internet节点发送请求。通过使用链路失效时间( LET )作为聚类的主要指标，我们提出了一种CA聚类准则。由于每个簇头( CH )最多只能与一个用户CA连接，我们提出了一种基于强化学习算法的服务选择方案。效果是有效地降低能耗和处理延迟。此外，当需要更高的数据速率时，使用AANET（航空自组网）的优势变得更加明显。方法：强化学习，李雅普诺夫优化
三、方法
1、系统建模
A.网络模型
有四个部分：（1）一组用户CA，它们向不同的层发送请求；一组CA，它们在簇内处理用户CA的内容请求；（2）GIG,为其覆盖范围内的CA服务；（3）地球静止轨道( GEO )卫星。假设卫星的通信范围足够大，足以覆盖用户CA，我们只考虑所提网络中的一颗卫星；（4）地面集中控制中心，协调系统的不同环节。在每个TS的开头，该中心向所有CA广播AANET的网络拓扑、内容请求和分发情况。如图1所示，包含1颗卫星、1个CH的CA集群和3个用户CA、2个非集群CA、2个GIG和1个控制中心。
B.内容请求与处理
CA根据乘客的通信需求提前缓存热门内容，如热点视频资源、住宿和出行信息等。令F = { 1，..，F }，Fui分别表示用户CA ui的全内容集和缓存内容。航空公司根据其缓存的内容制定内容列表，当CA飞行平稳时，机载用户可以在列表中选择自己想要的内容。此外，同一集群中的CA可以共享它们的内容列表。虽然用户CA的停靠时间和缓存存储量已经足够，但是乘客仍然有可能要求其CA没有拥有的内容。由于CAs由于其更高的流量强度和更频繁的路由轨迹被选为CHs，CHs往往比非CH节点缓存更多的内容。因此，假设每个CH缓存了其所在集群内用户CA请求的内容是合理的。用户CA请求流程图如下。CH在每个时隙最多为一个CA服务，处理能力有限，可以排队。
C.ETEG
ETEG：extend time evolving graph，拓展的时间演化图
V表示节点，包括CA,GIG,卫星
L表示链路，包括A2A,A2G,A2S
（1）A2G：GIG与CA距离，可视链路（Los），GIS可链接范围
（2）A2A：CA移动快，与距离速度有关
【不知道为啥论文里没详细写A2S】
D.其他相关模型
（1）信道模型。节点i与节点j的信道容量：
（2）流量与计算模型。简单来说，这部分论述了节点到节点之间的数据量
（3）能量模型。对于一个用户CA，它的能量消耗主要包括三个部分：1 )传输数据；2 )正常运行；3 )收集用户的请求，可以表示为：
其中Po、c和Pso分别是CA维持名义运行和收集乘客内容请求的恒功率。对于CHs，它们需要能量接收数据，维持正常运行，处理内容请求。因此，在TS t期间CH ri的总能耗为：
其中PR( uj , ri)为CH ri从uj到ri的接收功率。
因此，CAE - SAGIN在TS t期间的能耗可以写为：
2、基于稳定CA簇的服务选择Q-learning算法
在这一部分中，我们的目标是开发稳定的CA网络拓扑和服务选择方案。具体来说，我们提出了一个CA聚类准则，并为每个CH选择适当的用户CA，以最小化CAE - SAGIN的时间平均能耗。
状态空间表示集群的工作状态，即哪个用户CA被它的CH服务；动作空间表示CH的服务选择；为了最小化网络能耗，将网络能耗的负值作为奖励函数。
如图5所示，我们描绘了到达上海的CAs在一定时间内的飞行路线，其中红线表示直接飞行，蓝线表示中途停靠。
这部分就是把图5的这些航线，按照A2A链路、链路保持时间等划分为好几簇，并确定簇头（CH），每个簇内的信息是共享的。
3、能量最小化的联合资源分配和请求分配
A.队列积压
就是一个时隙内簇头（CH）只能处理一个CA的请求，如果有好几个请求的话，就得排队。t+1时刻的积压=t时刻的积压-处理的+新来的。
【这部分原文分为真实任务积压和虚拟任务积压，我不明白为啥这样】
B.问题建模与李雅普诺夫优化
首先就是问题建模，目标是能耗，然后一堆约束。经过李雅普诺夫优化，变成P2-3，然后分解为俩问题：最优CPU循环频率和请求最优分配
C.最优CPU循环频率
确定CH的最佳CPU周期频率。拉格朗日-->二分搜索
D.请求最优分配
二分法
E.这部分小结
算法4：CAE-SAGIN中机载用户的节能数据访问方案
1.根据CA聚类准则(第三节- A)构建CA网络；
2.获取整个网络拓扑结构，并在时间跨度T内的每个TS开始时构建ETEG ( V、L)；
3.根据基于Q学习算法(第三节- B)的服务选择方案确定每个CH的服务用户CA；
4.利用Lyapunov函数将原优化问题P2 - 1转化为P2 - 3 (第四节)；
5.根据算法3求解变换后的联合优化问题P2 - 3；
6.根据优化结果获取互联网服务，并更新CA的内容资源池。
四、总结
本文研究了CAE - SAGIN中一种基于强化学习的高能效数据访问方案。本文提出了一种基于Q学习算法的CA聚类准则和服务选择方案。以最小化时间平均能耗为目标，我们建立了资源分配和请求分配的联合优化问题，该问题可以通过提出的联合优化算法来解决。仿真结果表明，在每个簇中选择适当的最大CA数目时，CA网络中的下行链路数接近于0。此外，基于Q学习的服务选择方案可以通过穷尽搜索来接近结果，但计算复杂度较低。与目前只有空间和地面层的互联网接入方法相比，当控制参数V设置得当时，在飞边服务器的帮助下，时间平均能耗和延迟分别降低了99.14%和51%。能量消耗和延迟之间的折衷可以应用于机载用户的数据访问方案的设计。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
