干扰管理学习日志14-------强化学习_计算卸载_载波分配_功率分配

---

本文是对论文《Multi-Agent Driven Resource Allocation and Interference Management for Deep Edge Networks》的分析，若需下载原文请依据前方标题搜索，第一作者为Yongkang Gong

一、文章概述

这篇文章中，作者为MEC边缘服务器场景，提出了一种使用强化学习方法，控制卸载决策、载波分配、基站功率等级的方法。结果表明，方案在节省系统总开销上有着显著的效果。

二、系统环境

整个系统的环境如图所示，由一个宏基站与多个协同的无线接入点ap构成，服务于区域内的用户。每个协同无线接入点配备有边缘服务器，用于更高效的完成用户侧的计算任务。

三、系统模型

1.优化任务

整个系统的优化目标是本地与边缘服务器的总能耗与时延最小化。其中为卸载决策，取值为0或1。为作者通过数学模型推导出的本地计算最优解。为服务器侧总时延，为服务器侧总能耗。与为服务器侧时延与能耗权重。

2.约束条件

四、算法详解

作者使用基于强化学习的多智体DDPG(Deep Deterministic Policy Gradient)算法求解模型，算法流程图如下所示。

1.输入状态

输入状态为各个载波频段的状态信息。

2.输出动作

输出动作包括卸载决策、信道分配、功率分配。

3.环境反馈

环境反馈为任务目标的负值。

4.伪代码

五、性能表征

1.总开销(任务量)

2.总开销(边缘云速度)

3.总开销