近地轨道卫星-地面边缘网络中的AIGC辅助数字水印服务

近地轨道卫星-地面边缘网络中的AIGC辅助数字水印服务

摘要：低地轨道（LEO）卫星通信是未来6G通信网络的重要组成部分，有助于综合卫星-地面网络的发展。在即将到来的卫星对地网络中，LEO卫星的闲置计算资源可以作为边缘服务器，为地面用户提供智能任务计算服务。现有的关于卫星对地计算的研究主要集中在设计高效的任务调度算法，为地面用户提供直接的计算服务。本研究旨在将卫星边缘网络与人工智能生成内容（AIGC）技术相结合，为地面用户提供个性化的AIGC服务，如定制的数字水印服务。首先，我们提出了一种卫星到地边缘网络架构，可以实现可见的LEO卫星与地面用户之间的双向通信。每颗LEO卫星都配备了智能算法，支持各种AIGC辅助数字水印技术。其次，考虑指标

I. 随着云计算和物联网（IoT）技术的快速发展，边缘计算已经成为克服移动设备的计算资源限制和优化能源消耗的关键解决方案。任务卸载到边缘节点进行处理是一种显著提高计算效率和节约能源的策略。然而，传统的智能任务卸载方法却遇到了挑战。在典型的云计算设置中，用户经常通过互联网将任务数据传输到远程云服务器进行处理。不幸的是，这种数据传输过程可能会受到网络延迟问题的阻碍，特别是由于间歇性的互联网连接。与此同时，人工智能技术的快速发展推动了人们对中国广州大学陈、李、兰、王等人工智能研究所的广泛兴趣。K. Chen也在中国广州的琶洲实验室工作。B. 米曾就读于广东财经大学，以及中国广州的琶洲实验室。人工智能生成的内容（AIGC）。AIGC不仅获得了关注，而且还催化了定制内容[1]的自动生成。目前，AIGC服务被广泛应用于向用户提供生成式内容，而云计算技术是最流行的支持机制。然而，云计算面临应对高延迟和低带宽等挑战，这显著影响了AIGC服务的质量和效率。随着近年来随着空间网络的发展，近地轨道（LEO）卫星技术为解决任务卸载的一些问题提供了新的机遇。通过将移动边缘计算技术与AIGC [2]集成，在LEO卫星边缘服务器上部署具有AIGC服务的服务器，可以有效地提高AIGC服务的性能，提高用户体验质量。利用LEO卫星网络的通信带宽，可以将具有大量数据的任务更快地传输到LEO卫星服务器节点进行处理。LEO卫星的高带宽和低延迟特性与AIGC服务的需求非常吻合在传统的近地轨道（LEO）卫星边缘计算场景中，研究往往集中在如何有效地分配任务和在任务卸载过程中确保用户隐私。然而，随着人工智能生成内容（AIGC）技术的快速发展，它已成为研究的热点和应用新热点。目前，研究人员主要致力于探索如何使用AIGC来生成更高质量的内容，但往往忽视了在移动边缘服务器上部署这些服务的重要性。这一步对于为用户提供更高效和更高质量的服务至关重要。研究人员可以考虑将AIGC服务与LEO卫星边缘计算的优势相结合。这种组合不仅可以利用全球的覆盖范围和服务LEO卫星网络的高带宽，也通过边缘计算减少了延迟，为用户带来了更快速、更平滑的体验。关键在于设计一种先进的算法，可以智能地将用户任务分配到各种LEO卫星服务器上进行处理。这就要求该算法确保任务处理的高效率，同时在提供高质量服务的同时最小化操作成本。通过这样的研究和探索，未来有可能在全球范围内实现无缝、高效的AIGC服务，极大地提升用户体验，促进人工智能技术在日常生活中的应用。据我们所知，很少有人注意到这些卫星服务器可以促进的潜在的AIGC服务。在本文中，我们探讨了如何为近地轨道（LEO）卫星服务器的用户提供高质量的生成服务，同时利用这些服务器的性能（AIGC）的优势。我们首先设计了一个“地面-卫星”边缘网络架构，在任何给定的时刻，都需要多个任务节目：我们将人工智能生成的内容（AIGC）服务与近地轨道（LEO）卫星服务器集成，利用这些服务器为用户提供个性化的AIGC服务。该方法旨在提高服务质量，优化卸载过程。•我们还考虑了由于卫星的高速运动可能引起的覆盖问题。为了解决这一问题，我们利用卫星之间的数据迁移，以确保即使在卫星处于不可见状态时，也仍然可以向地面用户提供服务。•我们开发了一种基于近端策略优化（PPO）的任务卸载优化算法。该算法旨在在给定的约束条件下，通过最大化服务质量和最小化服务器开销来优化卸载过程。目的是确保任务卸载过程中的效率和稳定性。我们的论文的组织结构如下：第2节对相关工作进行了全面的回顾。第3节详细阐述了我们的系统模型。第4节介绍了我们的优化算法。第5节介绍了我们的实验结果，验证了我们的方法的有效性和实用性。最终微光在本节中，我们介绍了卫星-地面任务卸载、AIGC服务和数字水印技术的最新进展，这推动了我们利用移动卫星部署人工智能生成的数字水印服务的研究。卫星地面任务卸载：卫星地面通信网络是在人工卫星和地面终端之间建立连接的无线通信系统。与传统的地面通信网络相比，卫星具有覆盖范围广、传输率高、移动通信等优点。随着卫星辅助地面计算的提出，目前的研究主要集中在整合近地轨道（LEO）卫星与边缘计算，以帮助计算[3]。Zhu等人探索了一种基于深度强化学习的方法，在综合空中网络中调度物联网任务，旨在减少无人机能量约束下的任务处理延迟。仿真实验表明，与传统方法[4]相比，该方法更有效地减少了任务延迟。该方法旨在在保持系统稳定性的同时，减少物理层辅助的移动边缘计算网络的时间平均能耗。Li等人介绍了在信任区域支持的边缘云[7]中安全、高效的任务卸载的PASTO算法。该算法解决了计算卸载过程中的安全问题，特别是考虑到加密操作的开销和信任区的单处理器排他性。Liao等人提出了一种基于区块链和半分布式学习的方法，用于集成空-地功率物联网[8]中的安全和低延迟计算卸载。该方法结合区块链技术、卫星辅助通信和深度强化学习，优化任务卸载和资源分配，减少队列延迟，确保长期安全。Lan等人引入了一个集成的卫星地面网络，旨在促进卫星辅助任务在动态移动条件下的卸载，同时遵守严格的用户设备（UE）隐私约束，包括位置和用户模式隐私[9]。一个类似的秒策略使用深度强化学习（DRL）[11]。Qiu等人[12]提出了一种软件定义的卫星-地面网络来动态管理缓存和计算资源，采用深度q学习算法来解决联合资源分配优化问题。Zhang等人通过卫星移动边缘计算（SMEC）提高了卫星-陆域网络（STN）的服务质量（QoS）。他们引入了一种新的STN体系结构，利用动态网络虚拟化和合作计算卸载（CCO）模型，在用户稀疏分布和地面基础设施[13]有限的环境中改善用户体验。Fu等人研究了多用户卫星物联网系统中上行可达率的优化，将同时无线信息和功率传输（SWIPT）与移动边缘计算（MEC）相结合。他们的研究导致了一个开创性的系统设计，具有全双工接入点和多输入多输出（MIMO）技术，从而通过联合使用SWIPT和MEC [14]来提高系统性能。谢等人提出了一种新的架构本文介绍了一种新的博弈论方法来优化卫星边缘计算环境中的计算卸载策略。本研究强调通过博弈论框架确定最优卸载策略，旨在优化任务响应时间和能量消耗。建立了纳什均衡的存在唯一性，并引入了一种迭代算法对该均衡[17]进行定位。Tang等人探索了近地轨道（LEO）卫星网络中的计算卸载策略，集成了云和边缘计算技术。他们提出了一个三重计算架构，旨在最小化地面用户的总能耗，并考虑到每个LEO卫星的覆盖时间和计算能力的限制。该方法包括将原始的非凸优化问题转化为一个线性规划问题，并利用乘子交替方向法（ADMM）算法得到一个近似最优解[18]。AIGC服务： Xu等人主要探讨了与实施AIGC属相关的技术和挑战移动网络中的AIGC。此外，本文还介绍了在移动边缘网络[2]中部署AIGC时所面临的一些挑战。Wang等人讨论了使用ChatGPT等大型人工智能模型的人工智能生成内容（AIGC）的工作原理、安全和隐私威胁、最新的解决方案以及未来面临的挑战。该研究对AIGC面临的安全和隐私威胁进行了分类，强调了GPT和AIGC技术的伦理和社会影响。此外，本文还综述了可控AIGC范式的水印方法，并确定了与AIGC [19]相关的未来挑战和研究方向。Du等人介绍了AIGCas-a服务（AaaS）的概念，并讨论了在无线边缘网络中部署这些服务时遇到的挑战，如带宽消耗和变化的信道质量。此外，他们还提出了一种基于深度强化学习的算法，动态选择最优a生成内容服务提供商（ASP），以提高内容生成质量，减少任务失败[20]。Liu等人提出了一种优化移动边缘网络中人工智能生成服务（AIGC）的方法。这个appr数字水印：近地轨道（LEO）卫星边缘服务器可以为地面用户提供量身定制的生成服务，如水印隐写服务。在LEO卫星服务器上部署水印隐写术服务，可以有效地减少处理时间，提高了服务的质量和稳定性。Evsutin等人主要介绍了数字隐写和水印的基本概念、应用、空间和频域方法，为[22]领域的研究方向提供了指导。Yadav等人对使用离散余弦变换（DCT）、离散小波变换（DWT）和奇异值分解（SVD）的水印方法进行了比较分析。他们评估了这些技术在信息安全方面的有效性，以及它们保护图像内容和抵抗攻击的能力，并将这些方法与图像扰动技术相结合。本文还通过[23]的比较实验，证明了不同水印技术的优点和局限性。总之，卫星-地面网络

卫星层包括多个配备了移动边缘计算（MEC）服务器的近地轨道（LEO）卫星，而地面层包含了需要处理图像水印隐写术任务的用户设备（UE）。在此体系结构中，考虑了多个水印任务和多个LEO服务器。用户设备利用无线通信技术与边缘服务器进行通信，利用卫星将任务部署到卫星服务器上，以执行图像水印隐写术。根据目前的卫星配置，假设每颗卫星具有不同的计算能力，服务器的价格也相应不同。此外，当用户设备（UE）卸载任务时，采用顺序卸载方法，利用信道带宽一个接一个地卸载图像任务，以便在卫星上进行处理。因此，任务的成本可能会受到数据处理节点的选择的影响。可以优化任务调度和节点选择，以实现更有效的水印隐写处理。A. 卫星-地面网络1)卫星覆盖模型：移动边缘计算（MEC）服务器部署在近地轨道（LEO）卫星上，它们均匀分布在近地轨道上，并以相对较高的速度移动。每颗卫星都配备了MEC一个能够向用户提供水印隐写服务的服务器。但是，由于卫星的高速速度，它们只能在用户可见范围内提供服务。当用户提交的任务被分配给超出通信范围的卫星时，用户可以首先将水印任务上传到可见范围内的卫星。然后，通过卫星数据-卫星传输，将任务数据从该卫星迁移到接收范围以外的另一颗卫星进行处理。一旦任务完成，如果卫星仍在可见范围之外，结果数据可以迁移到用户可见性范围内的卫星上进行反向传输。这样，用户就可以使用其可见范围内的卫星作为中继站，将任务数据传输到其可见范围以外的卫星进行处理。这样的迁移策略确保了持续的迁移策略如图1所示，带有白色区域的图的上半部分包含可见的卫星，而下半部分包含不可见的卫星。假设在t时刻，卫星j与地心之间的夹角为γ。然后，卫星j、用户设备（UE）和地球中心形成一个三角形。利用余弦规则，我们可以推导出t时刻UE与卫星j之间的距离S如下：其中，R是地球的半径，H是卫星轨道的高度。2）卫星通信模型：假设地面用户设备（UE）可以通过Ka波段与卫星进行通信。该信道提供了更高的传输带宽和更短的传输距离，确保了在复杂的动态环境中的鲁棒性。本文只考虑了单一终端的情况，因此忽略了每个卫星覆盖范围内终端之间的相互干扰。由于卫星的高高度，视线（LOS）通道比其他通道更占优势。考虑到卫星运动引起的多普勒频移在终端处得到了完美的补偿，终端和终端之间的信道增益可以用自由空间路径损耗模型来表示。假设在t时刻，UE与卫星之间的距离为sj (t)，则用户UE与卫星j之间的信道增益为：卫星层包括多个配备了移动边缘计算（MEC）服务器的近地轨道（LEO）卫星，而地面层包含了需要处理图像水印隐写术任务的用户设备（UE）。在此体系结构中，考虑了多个水印任务和多个LEO服务器。用户设备利用无线通信技术与边缘服务器进行通信，利用卫星将任务部署到卫星服务器上，以执行图像水印隐写术。根据目前的卫星配置，假设每颗卫星具有不同的计算能力，服务器的价格也相应不同。此外，当用户设备（UE）卸载任务时，采用顺序卸载方法，利用信道带宽一个接一个地卸载图像任务，以便在卫星上进行处理。因此，任务的成本可能会受到数据处理节点的选择的影响。可以优化任务调度和节点选择，以实现更有效的水印隐写处理A. 卫星-地面网络1)卫星覆盖模型：移动边缘计算（MEC）服务器部署在近地轨道（LEO）卫星上，它们均匀分布在近地轨道上，并以相对较高的速度移动。每颗卫星都配备了MEC一个能够向用户提供水印隐写服务的服务器。但是，由于卫星的高速速度，它们只能在用户可见范围内提供服务。当用户提交的任务被分配给超出通信范围的卫星时，用户可以首先将水印任务上传到可见范围内的卫星。然后，通过卫星数据-卫星传输，将任务数据从该卫星迁移到接收范围以外的另一颗卫星进行处理。一旦任务完成，如果卫星仍在可见范围之外，结果数据可以迁移到用户可见性范围内的卫星上进行反向传输。这样，用户就可以使用其可见范围内的卫星作为中继站，将任务数据传输到其可见范围以外的卫星进行处理。这样的迁移策略确保了持续的迁移策略如图1所示，带有白色区域的图的上半部分包含可见的卫星，而下半部分包含不可见的卫星。假设在t时刻，卫星j与地心之间的夹角为γ。然后，卫星j、用户设备（UE）和地球中心形成一个三角形。利用余弦规则，我们可以推导出t时刻UE与卫星j之间的距离S如下：其中，R是地球的半径，H是卫星轨道的高度。2）卫星通信模型：假设地面用户设备（UE）可以通过Ka波段与卫星进行通信。该信道提供了更高的传输带宽和更短的传输距离，确保了在复杂的动态环境中的鲁棒性。本文只考虑了单一终端的情况，因此忽略了每个卫星覆盖范围内终端之间的相互干扰。由于卫星的高高度，视线（LOS）通道比其他通道更占优势。考虑到卫星运动引起的多普勒频移在终端处得到了完美的补偿，终端和终端之间的信道增益可以用自由空间路径损耗模型来表示。假设在t时刻，UE与卫星之间的距离为sj (t)，则用户UE与卫星j之间的信道增益为：参数β0表示在参考距离为一米处的功率增益。信道增益表示信号在穿过信道时所经历的衰减或放大的水平，通过hj (t)的幅度来评估。这种对信道状态的评估对于优化任务卸载决策以提高卸载性能至关重要。在卫星对地链路传输中，信噪比（SNR）被定义为接收信号功率与接收噪声功率的比值。信噪比越高，说明信号越强，可以提高通信的质量和可靠性。假设每颗卫星都在一个独立的频带上运行，以排除信号干扰，那么每个卫星对地链路的信噪比都可以独立地计算出来，不受其他卫星传输的影响。t时刻UE与卫星j之间的链路信噪比为

在任务卸载过程中，p tran和N0分别表示用户设备（UE）的传输功率和噪声功率。假设每颗卫星具有不同的上行带宽，从UE卸载到卫星j的任务的传输速率可以表示为： Rj (t) = Bj log2（1 + SNRj (t)）(4)


在这种情况下，Bj表示从用户设备（UE）到卫星j的上行带宽。误码率b (t)定义为每个传输位发生错误的概率。在误码率b (t)与信噪比（SNR）信噪比(t)之间存在直接的相关性。具体来说，信噪比的增加会导致比特误码率的降低，从而降低了传输错误的可能性。假设卫星与地面之间的传输采用二进制相位键控（BPSK），则在t时刻向卫星j发送任务的误码率如下：

这里，erfc表示互补误差函数。这种方法能够计算给定一个特定的信噪比（SNR）的误码概率。通过计算误码率，可以准确估计卫星传输的稳定性，从而提高卫星传输的质量，优化卸载结果。3)通信可靠性：由于近地卫星的高速移动和无线传输过程中潜在的天气变化，将图像数据传输到卫星服务器进行水印隐写术可能面临可靠性问题。卫星-地面链路上的数据传输可能会受到环境变化的不利影响。因此，必须制定一系列的策略来保证任务卸载的可靠性。在该模型中，通过无线传输失败的概率来评估卸载的可靠性。在确定卸载策略时，只需要确保卸载失败的概率保持在一个预定义的范围内。这意味着有一定程度的容错能力，使我们能够减轻其影响B. AIGC-辅助数字水印服务1)数字水印：数字水印常用于数字媒体中，以嵌入难以识别的识别信息，用于版权保护、数据完整性验证和源身份验证。相比之下，隐写术更注重隐藏，旨在确保信息与原始媒体保持一致，避免被检测，同时保持原始图像的可读性。结合数字水印和隐写术可以提供更全面的功能和更高的安全性，满足广泛的要求。然而，嵌入的水印往往会影响图像质量，并有可能导致失真。为了评估水印后的图像质量，我们引入了峰值信噪比（PSNR），它通过计算压缩信号和处理信号之间的峰值信噪比来测量水印插入后图像的失真程度。假设在时间t，任务i被卸载到卫星j，其中卫星服务器部署了三种数字隐写技术Wk = {W1，W2，W3}，包括DCT在这种情况下，Pixel[i]表示图像像素的大小，Mse[Wk]是部署在卫星j上的水印算法Wk在处理图像时产生的均方误差。由于部署在卫星j上的水印算法与卫星本身之间存在一一对应关系，我们可以将Mse简化为Mse[j]。因此，由于将UE的所有任务卸载到卫星上所产生的水印质量可以表示为：


2) 服务价格：当边缘计算服务器对图像执行水印隐写术时，会对UE（用户设备）用户收取费用。假设计费标准基于图像中每个字节的数据大小，并考虑到每个水印算法的不同收费率和每个卫星服务器的计算速度和质量，卫星j执行任务i水印隐写可以表示如下：价格= Di×UPj（11），价格表示单个任务水印隐写的成本，Di表示第i个任务的数据大小，UPj表示卫星j提供的隐写服务的单价。因此，UE将所有任务卸载到卫星上进行水印隐写术的总成本计算为：



3) 总计算时间： UE上传图像数据到服务器进行水印隐写术。最初，卫星服务器接收由UE上传的数据。接收后，他们处理数据，然后将完成的任务转移回来。假设一个具有单孔处理器的近地轨道（LEO）卫星，当接收到来自UE的多个任务时，它们将按上传的顺序执行。假设在时间t时刻，UE通过卫星-地面链路将任务i卸载到卫星服务器j。在这个卸载过程中所需的上传时间是t上传i，j = Di Rj，其中Di是任务i的数据大小。任务i卸载完成后，如果卫星j空闲，则立即启动任务i上的水印隐写术。完成这个过程所需的时间是t comp i，j = Di βj，其中βj是水印隐写术服务器的计算速度。当多个任务卸载到同一服务器时，它们将进入一个队列，直到上一个任务完成。UE采用顺序卸载方案，有效的任务分配可以显著减少队列等待时间。假设卫星p接收到总共的MP = {Mp 1，Mp 2，Mp 3，…，Mp k}任务，数字



并行地，任务Mp 3开始上传，并在t上传3，p时间后完成，然后启动任务Mp 4的上传。如果此时卫星服务器正忙，则任务Mp 3将被排队。在t补偿2，p之后，时间，在t补偿时间，结束2，p，任务Mp 3开始。如果任务Mp k在服务器保持繁忙时完成了其上载，那么它将进入等待队列。使用水印算法对任务Mp k的加密过程从时间t开始，开始k，结束k−1，p，立即完成任务Mp k−1。如果卫星服务器空闲，但任务Mp k的上传未完成，服务器在开始计算前等待完成，将任务Mp k的启动时间设置为=，启动k，=上传，结束=，=。因此，任务Mp k的开始时间取决于两个值中的更大：任务Mp k−1的完成时间或任务Mp k的上传结束时间，表示为=，开始k，p = max（t comp，结束k−1，p，上传，结束=，p）。因此，计算任务Mp k的结束时间为t+、结束k、开始+、结束k、=。在卫星上完成任务的加密后，卫星将移动到从gro中不再可见的位置


上传速度，一旦任务i迁移完成，卫星j−λi可以将计算结果发送回用户设备（UE）。下行时间需要下载i，j=10RDij−λi。因此，从任务i的计算完成到迁移和下行结束的时间不是下载，结束i，j =迁移，结束i=下载+，j。此时，任务i完成了上传-加密-下载链接的整个过程，将任务完成时间标记为t结束=t下载，结束=，j。总之，所有卸载任务的总完成时间为t总=结束卸载=最大（t结束i）。4)总能量：通过卫星-地面链路传输过程中，发生卸载传输能耗。这具体表现为与服务器建立连接并通过无线通信传输数据所需的能量。在这种情况下，我们只关注在上传过程中所消耗的能量。假设传输功率为P tran，传输能量消耗可以表示为发射= P tran×上传。




C. 优化目标本研究的主要目标是最小化能耗和总卸载时间开销，同时保证卸载的稳定性和可靠性。其目标是在不影响时间开销的情况下最小化服务器成本，这必须满足最低要求，以及水印质量，这应高于最低阈值。此外，该追求是为了达到尽可能最高的水印质量。该目标的公式可以表示为： min C = ω1Ttotal + ω2E tran + ω3Ptotal−ω4

D. 优化目标本研究的主要目标是最小化能耗和总卸载时间开销，同时保证卸载的稳定性和可靠性。其目标是在不影响时间开销的情况下最小化服务器成本，这必须满足最低要求，以及水印质量，这应高于最低阈值。此外，该追求是为了达到尽可能最高的水印质量。这一目标的表述可以表示如下：

在这个优化问题中，Vtotal的权值为负，因为较高的PSNR（峰值信噪比）值表明图像失真越小，因此水印质量越好。本研究的约束条件包括三个关键方面：任务的总完成时间不能超过预定义的阈值，确保任务在指定的时间框架内完成。•任务传输失败的概率必须低于设定的阈值，以保证卸载过程的稳定性和可靠性。•水印隐写术后的图像整体质量不能低于一定的阈值，以防止水印后的失真。在这些限制下，我们的目标是为地面用户提供高效、经济有效和高质量的卸载计算服务。增值为了考虑到卫星的高速运动特性和服务器性能上的差异，本研究采用了马尔可夫决策过程（MDP）模型进行问题建模。具体来说，卫星在近地轨道上的快速运动意味着其能见度和负载条件的动态变化，显著地影响了任务分配决策过程。因此，当用户设备（UE）做出决策时，必须详细考虑卫星的当前负载及其可见性状态。决策过程包括根据卫星的状态分配任务，并为这些分配获得奖励。此过程将进行，直到违反约束或分配所有任务。该终端在集合优化目标函数的指导下，迭代执行该决策循环，找到最优的任务卸载策略，以实现预定义的优化目标。在马尔可夫决策过程（MDP）模型中，用户设备（UE）在t时刻的动作表示为at，通过观察操作空间：操作空间定义了用户设备（UE）可执行的所有潜在操作。具体来说，UE的行动空间包括两个关键维度：任务号和可供卸载的卫星序列号。这意味着在每个决策点，UE可以选择将特定的任务卸载到特定的卫星。因此，动作空间可以看作是一个同时包含任务号和卫星序列号的离散向量集的集合，为系统模型中的决策过程提供了一个清晰的参数范围。奖励功能：奖励功能作为学习过程中重要的反馈机制，指导和影响用户设备（UE）的行为调整。奖励函数的设计旨在激励用户采取行动，最大化水印效果，同时最大限度地降低卸载的总成本。具体来说，奖励函数的目标是优化UE的动作选择，在满足各种约束的同时，保证计算服务卸载中高效和高质量的水印效果。这种奖励机制不是o


统一决策，也保证系统运行的整体性能和质量。B. 在该问题的马尔可夫决策过程（MDP）模型中，该模型具有较大的状态维数和多个参数影响结果，因此对卫星的任务卸载过程是复杂的。不同的卸载策略可以降低水印隐写术的质量或显著的服务器成本，并极大地影响卸载的能耗和总时间。近端策略优化（PPO）算法利用“接近策略优化”，增强训练稳定性，能够处理高维状态和动作空间，使其非常适合卫星卸载环境。因此，采用PPO算法可以帮助用户设备（UE）有效地将任务分配给卫星，从而提高资源利用率，优化卸载结果。PPO（近端策略优化）算法是行为者-批评者方法的一种变体。该框架包括两个独立的网络：行动网络和价值网络。动作网络由θ参数化的网络πθ表示，在接收状态输入时输出动作的概率分布。然后，代理从这个分布中采样，以选择下一个操作。值网络vφ，作为当前状态的值函数，估计在给定状态下的代理的预期回报，并评估动作网络πθ的性能。旧的由θold参数化的动作网络被称为πθold。总的来说，参与者-批评者框架是策略优化和价值优化的协同作用。在这个框架中，行动者负责决定一个动作，而批评者则评估动作的优优点和优缺点，并将这个评估反馈给行动者进行调整。通过对该过程的反复迭代，该算法旨在发现最优策略。PPO（近端策略优化）算法的训练过程可以描述为：在每个训练epis的开始阶段在这里，ˆA(t)表示优势函数，用于评估新策略的行为是否优于旧策略。优势功能的定义为：然而，对策略执行多个优化操作可能会导致大量的更新，从而降低稳定性。因此，近端策略优化（PPO）引入了另一种目标函数来约束和防止新策略与旧策略的过度偏差。具体的目标函数如下：因此，新的目标函数的表述如下：这里，εc是一个介于0到1之间的超参数，剪辑（）函数作为剪辑函数。它将概率比限制为间隔[1−εc，1 + εc]，以剪辑策略的更新速度。这种裁剪可以防止新策略πθ和旧策略πθold之间的过度偏差，从而确保策略更新的稳定性，并控制策略更改的程度，以防止策略退化。该优势函数可以利用广义优势估计法（GAE）进行估计。在时间步长t处的优势函数可以定义为：这里，γ作为贴现因子，λ作为一个参数。广义优势估计（GAE）采用λ参数来更准确地估计优势函数，从而提高了策略的稳定性和效率。评价网络状态的值函数用Vφ表示，其参数φ通过梯度下降方法进行更新。Vφ的损失函数定义为L(φ)，可以表示为：A.在本研究中，我们结合OpenAI Gym和稳定基线3（SB3）框架进行实验，并以Python 3.9.3作为主要实验环境。OpenAI Gym是一个开源平台，它为强化学习应用程序提供了一个多样化和标准化的测试环境，并支持自定义场景的开发。来模拟与我们的研究相关的场景问，我们广泛地使用了OpenAI体育馆提供的环境来进行训练和测试。此外，我们还使用了SB3库，这是一个构建在PyTorch上的强化学习工具包。SB3以其高效的算法实现和用户友好的框架而受到青睐。它特别擅长在OpenAI健身房环境中训练强化学习代理和保存模型参数。该实验的硬件平台包括一台配备2.40 GHz Intel (R) Xeon (R) Gold 6240R处理器的服务器和一个NVIDIA公司GV100GL[特斯拉V100S PCIe]显卡（32GB显存）的服务器。该配置提供了必要的计算能力，保证了仿真环境的平稳运行和精确的算法训练，从而保证了实验结果的有效性。B.为了分析近端策略优化（PPO）算法在解决我们提出的问题上的优势，我们将PPO算法与随机和顺序卸载算法的结果进行了比较。图3显示了PPO合金所产生的成本与随机卸载算法相比增加了4.9%，与顺序卸载算法相比降低了13%。当卫星计数增加到25时，PPO算法与随机卸载算法相比，服务器总成本降低了13.7%，与顺序卸载算法相比，服务器总成本降低了25.4%。此外，对于45个卫星，PPO算法与随机卸载算法相比，服务器总成本降低了16.9%，比顺序卸载算法降低了22.3%。C. 如图4所示，服务器的数据处理需求随着任务数量的增加而增加，随后增加了处理这些任务所需的服务器资源。从图中可以看出，在15个任务中，与其他算法相比，近端策略优化（PPO）算法的近端策略优化算法降低的成本并不明显。然而，随着任务数量的增加，PPO算法的服务器成本仍然是三种算法中最低的。这表明，我们设计的基于PPO的任务卸载算法具有良好的优化效果


设置会导致代理的信息不完整，导致过度关注短期回报，而以牺牲长期利益为代价。如图5所示，当n步长设置为25、50和100时，最终的奖励收敛结果分别为16、25和32。这些结果不达到预期的奖励结果。当n步长设置为500时，虽然奖励值达到了预期的结果，但收敛速度明显低于设置为1000和2000。 E. 不同的学习速率在评估近端策略优化（PPO）算法的性能时，一个关键的考虑因素是该算法有效地收敛到最优解的能力。不适当的学习速率设置可能会阻碍算法找到全局最优值，或导致模型参数更新太慢，需要多次迭代才能获得最优解。为了更好地收敛和提高训练效率，我们采用了学习速率衰减策略，在训练过程中逐步降低学习速率。这种方法增强了模型的稳定性，并允许更多的pre



AIGC数字水印服务，精度水平不同。我们提出了一种基于卫星对地边缘网络的AIGC数字水印模型，以解决卫星可见性、卫星对地通信稳定性、数字水印质量、卫星对地通信时间、数字水印时间和地面用户能耗等指标。此外，我们还设计了一种基于强化学习的最优调度策略。据我们所知，这是第一次利用近地轨道卫星网络提供个性化的AIGC服务的工作，旨在为6G卫星通信中的智能服务提供一个新的研究方向。参考[1] K. B. Letaief，Y.石，J.陆，“6g的边缘人工智能：视觉、启用技术和应用”，IEEE《通信选定领域杂志》，第40卷，第1期，第5-36页，2022. [2] M. Xu，H.杜， D. 尼亚藤，康，熊，毛，韩寒， A. Jamalipour, D.金，诉梁等人，“在移动网络中释放边缘云生成ai的力量：对aigc服务的调查”，arXiv预印本arX


[12] C. 邱，姚，余，徐，和 C. 赵，“软件定义卫星地面网络辅助网络、缓存和计算资源分配”，《IEEE车载技术交易报》，第68卷，第6页，5871-5883,2019.[13]张，张，“卫星移动边缘计算：利用边缘计算技术改进高速卫星-地面网络的质量”，IEEE网络，第33卷，第1页，第70-76,2019。[14]傅，华，文，周，李， B. 盛，“多用户卫星信息系统可达率优化”，《IEEE工业信息学学报》，第17卷，第3页，第2072-2080,2021.[15]R.谢，唐，王问，刘晓，余福，黄东，“卫星地面集成边缘计算网络：架构、挑战和开放问题”，IEEE网络，第34卷，第3页，第224-231,2020。[16]王，张晓，张，王，L。刘，“基于双刃计算的卫星地面网络的计算卸载策略”，2018年IEEE国际通信系统会议（ICCS），2018年，页。450–455.王[17] Y，J。