【文献阅读】JointChargingSchedulingandComputationOffloadinginEV-AssistedEdgeComputingASafeDRLApproach

论文连接：Joint_Charging_Scheduling_and_Computation_Offloading_in_EV-Assisted_Edge_Computing_A_Safe_DRL_Approach

缩写词

EV:Electri Vehicle，电动交通工具。
OCEAN:computation offloading scheme，计算卸载方案。
MEC:Multi-access Edge Computing,多接入边缘计算。
DRL：deep reinforcement learning，深度强化学习。
CMDP：con-strained Markov decision process，约束马尔科夫决策模型。
SoC：state of charge，充电状态。

摘要

问题：作者阐述的基本问题就是在电动交通工具的边缘计算中，怎么去分配充电量，怎么去分配计算任务。
解决方案：为了解决这一问题，文章提出了joint charging schelduling和computation offloading scheme（简称OCEAN）。
文章将这一问题拆解成了两个问题，对于charging schelduling，研发了一种深度强化算法（DRL），对于computation offloading，为了得到最优的卸载策略，文章把他作为重新规划为整数非线性规划问题。

Introduction

第一段提出了问题：大量的资源没有被EV充分利用
所以可以去利用这些空闲的资源，利用EV-MEC的方式，EV-MEC可以减轻大规模服务器的计算成本，在EV-MEC中，一个常见的问题就是要计算任务分配。
本研究将问题分解为两个子问题：长时间尺度的充电调度和短时间尺度的计算卸载。对于长时间尺度的充电调度子问题，本研究采用了基于Lyapunov的安全DRL算法，学习最优的充电调度策略。对于短时间尺度的计算卸载子问题，本研究将其重新定义为整数非线性规划问题，以得出计算卸载决策。
文章的主要贡献如下：

• 制订了一个合作的双时标优化问题，这一问题由长时间标的电动汽车充电调度和短时间标的尺度卸载计算任务组成。目标是最小化充电负载和他的变化。
• 将电动汽车充电的调度模型建立为一个马尔科夫模型CMDP问题，并且提出了基于Lyapunov的DRL来解决CMDP，文章应用李雅普诺夫方法将长期约束转化为一系列单步状态安全约束。
• 文章把计算卸载问题视作整数非线性规划问题，其目标是在满足任务严格时延要求的同时，最小化任务处理的能耗。
• 文章做的OCEAN算法的仿真证明了其能满EV的充电需求。

Related Work

在这一章，文章讨论了同类型技术，并且总结了他们这项工作与以前的研究之间的差异。文章在这里列举了其他几个学者所做的研究。
然而，这些工作都集中在一个静态的优化问题，忽略了充电需求和任务到达的动态。在这一文章中，充分考虑到了动态的充电需求和任务的到达时间。文章多次强调了two-timescale，相比于其他文章的single-timescale更有优势。

CHARGING SCHEDULING AND COMPUTATION OFFLOADING FOR EV-MEC

这里是论文的核心部分，文章通过考虑不确定的电动汽车到达时
间以及不同的初始和目标SoC水平来研究充电需求的动态。在这一章节的前一部分讲了充电的折扣策略，