基于强化学习的巨型星座离散时间路由策略

【摘   要】由于天地一体化网络中移动性和时变环境导致的流量负载、拓扑结构和资源可用性的高时空动态特性，需要考虑当有恶意的网络行为攻击卫星时，如何在未知的网络中探索高效智能的网络优化方案。针对这一问题，以信息年龄、时延抖动率作为多优化目标，提出了一种基于深度强化学习的卫星巨型星座抗干扰路由策略，设置信息年龄、队列增长率以及距离为奖励，实现目标的优化。仿真结果表明，与现有的路由算法相比，该算法不仅可以保证数据的时效性、受到干扰时卫星网络路由的鲁棒性，还可以有效利用星间资源，提升网络的整体性能。

【关键词】深度强化学习；卫星巨型星座；信息年龄；离散时间动态虚拟拓扑路由策略 

0   引言

随着科技的发展以及人类生产生活范围的扩大，各种各样的物联网设备将涵盖海洋、山区、沙漠、太空等广阔的区域。5G地基网络也难以适应网络空间越来越广泛的通信需求，在此背景下，建设空天地一体化网络，深度融合天基网络、空基网络、地基网络，充分发挥不同网络维度的功能，实现广域全覆盖和网络的互联互通，成为亟待研究的问题[1]。

其中，天基网络技术处于核心地位，其由各种卫星系统构成，实现了全球覆盖以及泛在连接等功能。随着以美国Starlink计划为代表的低轨卫星星座技术的逐渐成熟ÿ