强化学习论文分析5---多基站_强化学习_联邦学习_计算卸载

已于 2022-11-22 02:20:40 修改
阅读量1.4k 收藏 17
点赞数 1
分类专栏： RL论文分析 文章标签： 网络
于 2022-11-21 19:29:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taiyuezyh/article/details/127969513
版权

目录

本文是对论文《Multi-Agent Deep Reinforcement Learning for Computation Offloading and Interference Coordination in Small Cell Networks》的分析，第一作者为北京邮电大学Xiaoyan Huang
在这里插入图片描述

一、文章概述

为了更好地将AI服务应用于通信网络之中，作者建议在每个基站处配置MEC服务器作为辅助。在此情景下，就产生了用户端计算卸载的分配方案选择问题。本文中，作者提出了一种基于多代理联合强化学习的计算卸载算法，有助于整个通信网络运行更为高效。此外，考虑到部分场景无法支持联合强化学习的信令开销，作者还提出了基于联邦学习的计算卸载算法。两种方法均优于常规算法，联合强化学习方案产生更大的信令开销，同时也具有更好的性能。联邦学习方法是对于联合强化学习方法的弱化，旨在用更少的信令，达到优于常规的效果。

二、理论模型

1.系统目标

在这里插入图片描述
整个系统所优化的目标是本地(用户端UE)和卸载(基站处服务器MEC)所产生的的能量开销最小化。

2.约束条件

在这里插入图片描述
C1:用户处和基站处计算的最大时延必须小于可接受最大时延T。.
C2:卸载任务量占比需在[0,1]之间。
C3-C5:每个UE最多可以分配一个信道，每个小区的每个信道最多可以分配给一个UE。
C6:功率限制
C7:基站内所有UE分配MEC，其总和不能超过MEC总算力。

3.公式推导

(1)任务量

在这里插入图片描述

对于任意时隙，基站M所对应的用户N处的任务具有如上图所示的三个参量，其中在这里插入图片描述表示计算任务的规模(在传输中使用的参数)。在这里插入图片描述表示计算任务所需要的算力(在本地和服务器计算时使用的参数)。在这里插入图片描述表示计算任务可以接受的最大时延。

(2)卸载率

对于每一个task，我们用在这里插入图片描述表示其卸载率(该部分任务交由基站处MEC服务器计算)。相应的，在这里插入图片描述表示在本地所进行的计算任务占比。

(3)本地能耗

对于每一个本地用户终端，我们认为其具有数值固定但相互之间各不相同的算力，表示为算力在这里插入图片描述。
那么，对于每一个计算任务，其本地的计算用时为

在这里插入图片描述
用户侧的功率设为在这里插入图片描述(固定值)，其所消耗的总能量如下

在这里插入图片描述

(4)传输能耗

当计算任务以Un(以香农定理给出)的速率在信道中传送时，所需要的总时长为

在这里插入图片描述
相应的，其消耗的能量(Pn表示的是发送功率)为
在这里插入图片描述

(5)MEC计算能耗

基站MEC服务器的计算时间消耗为
在这里插入图片描述
相应的，其能量消耗(时间*功率)为
在这里插入图片描述

(6)总述

本地能耗+传输能耗+MEC计算能耗之和，就是本文优化的总目标(最小化功率消耗)。联合强化学习、联邦学习的目的是训练模型，对卸载率、信道分配、功率分配做出决策，达到较优结果。

三、算法架构----多基站联合强化学习

1.网络结构图

在这里插入图片描述

2.算法总述

对于多基站联合强化学习算法，作者所搭建的强化学习模型架构如下:在每个基站处，以DDPG(改进版AC)算法为核心进行处理。突出特点在于Critic网络接收全局基站的动作状态信息，对Actor网络进行直到，以达到全局能量消耗最优的任务目标。

3.Actor网络

(1).输入状态

在这里插入图片描述
依次为信道增益、信道干扰以及各任务的分配与完成情况。

(2).输出动作

在这里插入图片描述
依次为UE侧任务卸载率、基站侧信道分配、功率分配以及MEC算力分配。

4.Critic网络

Critic网络以全局能量消耗作为评价指标，对于状态的转换进行评估，给予反馈来控制Actor网络的演进。

(1).环境奖励

在这里插入图片描述
环境奖励包含三项，依次为 本地能量消耗(负奖励)、卸载能量消耗(正奖励)以及延时满足情况。

5.伪代码

在这里插入图片描述

四、算法架构----多基站联邦学习

1.网络结构图

在这里插入图片描述

2.算法总述

对于多基站联邦学习算法，依旧是在每个基站处建立DDPG(改进AC)框架。其联合强化学习显著的不同点是:Critic网络不再接收全局状态-动作信息以计算能量消耗。相应的，Critic网络只计算每个基站的能量消耗与时延满足程度，并在每一个时隙的末尾与其他基站进行模型融合(联邦平均)。

3.模型融合

在这里插入图片描述
模型融合的方法为常见的联邦平均算法。

4.伪代码

在这里插入图片描述

五、性能表征

1.计算性能

在这里插入图片描述

2.能耗指标

在这里插入图片描述

@白圭
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
LTE-V下基于深度强化学习的基站选择算法.pdf
08-18
LTE-V下基于深度强化学习的基站选择算法.pdf
论文研究-基于深度强化学习的动态计算卸载 .pdf
08-16
基于深度强化学习的动态计算卸载，程百川，刘丹谱，移动边缘计算在移动网络边缘提供计算资源。为了减少执行时延，计算密集型任务可以从用户设备卸载到移动边缘服务器。当考虑到任务
基于联邦强化学习的集群机器人协同导航
最新发布
Moresweet 猫甜
03-17 1589
在收集24个激光传感器读数后，将读数归一化到[0,1]之间，并将归一化读数反向，以便当障碍物接近机器人时，归一化传感器读数接近1，从而进行更有效的神经网络训练。由于群居昆虫能够集体完成单个个体无法完成的具有挑战性的任务，因此群体机器人系统有望在动态复杂环境下完成单个机器人难以完成的具有挑战性的任务。在原论文中，SEDDPG的优点是通过共享可以鼓励探索，从而更快收敛和更好的性能。在模拟评价实验中，每个agent在训练阶段使用4个训练模型，在20次以上的环境中平均4个agent的表现，计算出成功率和完成时间。
DRLCOA：移动云计算中的深度强化学习计算卸载算法-研究论文
06-10
随着云服务的Swift使用，另一种有影响力的技术出现了，它被称为移动云计算。 它同时包含手机和云的功能。 当由于电池不足、内存和处理器速度低而导致繁重的应用程序无法在手机中自行执行时，这些应用程序将被转移到公共云以无缝执行。 这种将应用程序从手机转移到云端的过程称为计算卸载。 有许多算法用于卸载应用程序，但最近的算法是使用深度学习算法的算法。 在本文 DRLCOA 中，深度强化学习计算卸载算法被用于有效地将大量应用程序从手机卸载到云端。 DRLCOA 通过使用加权奖励来轻松卸载应用程序，从而使用两层架构。 根据该算法，它可以自行选择应卸载应用程序的物理机。 因此，手机和云之间有适当的负载平衡，可以节省大量的能量和带宽以供进一步使用。
基于pytorch编写的利用深度强化学习解决任务卸载和边缘计算问题
05-02
改代码对应的文章：Multi-Agent Deep Reinforcement Learning for Task Offloading in Group Distributed Manufacturing Systems（资源里包含PDF文章） 含有可运行的pytorch代码，调试多次，实测可运行 包括大规模数据集用来仿真实验 算法：多智能体深度强化学习 Actor-Critic
智能反射面文献阅读：基于深度强化学习的NOMA辅助STAR-RIS网络节能设计
Cai__xukun的博客
08-27 938
这篇文献采用同时发射和反射的可重构智能表明（STAR-RIS）作为通信模型中的辅助设备，以提高无线网络的性能，同时改善RIS的信号覆盖问题。并且这篇文章是基于非正交多址（NOMA)辅助的STAR-RIS下行网络能效优化问题。由于采用传统的凸优化方法不能很好地解决优化问题，此文献采用深度强化学习算法来进行优化，采用DDPG这种深度强化学习算法来联合优化基站处的发射波束赋形矢量和STAR-RIS处的系数矩阵来实现EE（Energy-Efficient）最大化。
边缘计算系统下基于深度学习的计算卸载算法
weixin_40433846的博客
06-29 1037
使用在线卸载框架（DROO），以最大化所有WD计算速率的加权和（单位时间内处理的比特数）
文献阅读：基于元强化学习的边缘计算快速自适应任务卸载
weixin_52029564的博客
10-10 310
本文提出了一种基于元强化学习的任务卸载方法，该方法可以在少量梯度更新和样本的情况下快速适应新环境。该方法将移动应用程序建模为有向无环图(DAG)，将计算迁移过程转换为序列预测过程，并通过自定义序列到序列(seq2seq)神经网络进行卸载策略。为了有效地训练seq2seq网络，提出了一种一阶近似来降低训练成本和裁剪替代目标协同的方法。评估在以下场景1)异构用户对移动应用的个人偏好，将其表示为具有不同高度、宽度和任务数量的DAG。2)根据UE与MEC主机之间的距离变化传输速率。针对不同的DAG。
联邦强化学习
武天旭的博客
03-24 7628
一、联邦强化学习介绍 强化学习（RL）是机器学习的一个分支，主要研究序列决策问题，强化学习系统通常由一个动态环境和与环境进行交互的一个或多个智能体（agent）组成。智能体根据当前环境条件选择动作决策，环境在智能体决策的影响下发生相应改变，智能体可以根据自身的决策以及环境的改变过程得出奖励。 对于智能体的周期，智能体首先会观察环境的状态，然后基于这个状态选择动作，同时智能体期望根据所选的动作从环境中得到奖励，智能体的奖励与其上一步的状态、下一步状态和所做出的决策等因素有关。因此，智能体会在【状态-动作-奖励
边缘计算中使用多智能体DRL进行的计算卸载算法
weixin_40433846的博客
06-29 696
计算卸载决策涉及联合和复杂的资源管理，所以使用部署在物联网设备上的多个深度强化学习代理来指导自己的决策。此外，使用联邦学习以分布式方式训练DRL的agent，旨在使基于DRL的决策实际可行，并进一步降低物联网设备和边缘节点之间的传输成本。文章作者研究了计算卸载优化问题，证明了该问题是一个np-hard问题，然后基于DRL和FL提出了一个卸载算法。
MADDPG中环境怎么配置，multiagent包解决
小柴柴是也的博客
04-14 3521
一、环境提供 MADDPG： https://github.com/starry-sky6688/MADDPG (pytorch版本) MPE环境：https://github.com/openai/multiagent-particle-envs 论文：《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》https://arxiv.org/abs/1706.0227 二、环境配置过程 首先下载MPE环境，然后解
ui-g_基站能耗分析建模_
10-01
能耗分析软件交互，方便调用不同算法对基站能耗进行分析对比
gsm-base.rar_GSM base_huawei_基站_基站优化_网络优化
09-23
GSM网络基站优化的案例，HUAWEI的资料，对基站维护、网络优化人士相当有用
Pseudosatellite_dataprocessing_单站定位_hollowrde_伪卫星定位_基站-卫星_卫星基站_源
09-30
实时解算单站或多基站伪卫星定位数据，并输出残差图，实现多种数据格式的读取。
怎么去利用训练较短的客户端剩余的时间进行计算卸载或者是计算迁移
m0_48022770的博客
10-07 101
--在实际的FL环境中，参与者通常是异构的，他们拥有的数据通常是非独立同分布(Non-IID)和不平衡的(在水平联邦学习中，Non-IID通常指标签分布偏差，例如，参与者只拥有类的一个子集的数据样本[17])。---为了解决上述问题，我们提出了一种结合调整客户端训练的异步FL方案。---在FL中，选定的客户端训练他们的本地模型，并将模型的一个函数发送给服务器，这消耗了随机的处理和传输时间。---开发了一种新的客户端选择算法，该算法优于现有的方法，在减少训练延迟方面取得了很强的性能，同时不损害模型的泛化。
边云协同场景下基于强化学习的精英分层任务卸载策略研究
weixin_70923796的博客
07-20 227
摘要随着5G的发展以及应用程序功能的丰富，应用程序对终端设备的计算能力提出了更高的要求，为了提高终端设备对应用程序的计算能力，降低任务的处理时间，针对移动边缘计算环境，提出了一种边云协同的任务卸载方式，并设计了基于强化学习的精英分层进化算法（RL-EHEA, elite hierarchical evolutionary algorithm combined with reinforcement learning）进行卸载决策，使多个具有依赖关系与截止时间的任务对计算资源竞争。结果表明，与遗传算法（GA,
联邦学习 （隐私计算）
热门推荐
WhoisCong的博客
10-29 1万+
联邦学习是一个机器学习框架，能帮助不同机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据联合使用和建模。具体地说，联邦学习要解决这样一个问题：在企业各自数据不出本地的前提下，通过加密机制下的参数交换与优化，建立一个虚拟的共有模型。这个共有模型的性能类似于将各方数据聚合到一块训练出来的模型。该数据联合建模方案不泄露用户隐私且符合数据安全保护的原则。 现在主流用于机器学习的隐私计算方...
强化学习论文分析4---异构网络_强化学习_功率控制《Deep Reinforcement Learning for Multi-Agent....》
taiyuezyh的博客
11-14 1012
在异构网络条件下，使用强化学习(包括DQN和AC)算法对各个基站的功率进行控制，最终达到信道容量最大化的目的。我个人觉得这篇文章的内容很饱满，可以认为是强化学习在功率控制领域(干扰管理)应用的集大成者。
CKKS算法计算开销
10-26
CKKS算法的乘法操作比较耗费性能，因为在编码时对系数进行了放大，所以无论是密文还是明文的乘法都需要进行重缩放。这对机器学习等应用来说并不是很友好。此外，CKKS算法的计算开销也比较大，因为它需要进行多次加密和解密操作，而且在进行同态计算时需要使用加密的秘钥和公钥，这也会增加计算的开销。因此，在实际应用中需要仔细考虑CKKS算法的计算开销和性能问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@白圭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值