【论文解析】Fast Adaptive Task Offloading in Edge Computing Based on Meta Reinforcement Learning

Fast Adaptive Task Offloading in Edge Computing Based on Meta Reinforcement Learning

基于元强化学习的边缘计算快速自适应任务卸载

---

一、摘要 Abstract

I、内容 Content

多接入边缘计算(multi -access edge computing, MEC)旨在将云服务扩展到网络边缘，以减少网络流量和服务延迟。MEC中的一个基本问题是如何有效地将移动应用程序的异构任务从用户设备(UE)卸载到MEC主机。最近，人们提出了许多基于深度强化学习(DRL)的方法，通过与由UE、无线信道和MEC主机组成的MEC环境交互来学习卸载策略。然而，这些方法对新环境的适应性较弱，因为它们的样本效率较低，并且需要充分的再训练来学习新环境的更新策略。为了克服这一缺点，我们提出了一种基于元强化学习的任务卸载方法，该方法可以在少量梯度更新和样本的情况下快速适应新环境。我们将移动应用程序建模为有向无环图(DAG)，并通过自定义序列到序列(seq2seq)神经网络进行卸载策略。为了有效地训练seq2seq网络，我们提出了一种一阶近似和截断代理目标协同的方法。实验结果表明，与三个基线相比，这种新的卸载方法可以将延迟减少多达25%，同时能够快速适应新环境。

II、总结 Summarize

• MEC旨在将云服务延伸到网络边缘，以减少网络流量和服务延迟。
• 核心问题是如何将移动应用的任务从用户设备卸载到MEC主机。
• 最近提出了基于深度强化学习的方法来学习任务卸载策略。
• 这些方法对新环境的适应能力较弱，需要完全重新训练。
• 提出了一种基于元强化学习的方法，可以在少量梯度更新和样本的情况下快速适应新环境。
• 将移动应用建模为有向无环图（DAG），卸载策略建模为自定义的序列到序列（seq2seq）神经网络。
• 提出了一种有效训练seq2seq网络的方法，结合了一阶近似和修剪替代目标。
• 实验结果表明，新的卸载方法能够将延迟降低高达25%，同时能够快速适应新环境。

III、关键词 Keywords

Multi-access edge computing, task offloading, meta reinforcement learning, deep learning

多访问边缘计算，任务卸载，元强化学习，深度学习

---

二、介绍 Introduction

I、总结 Summarize

1. 背景介绍

   • 快速发展的计算和通信技术推动了创新移动应用和服务的不断涌现，例如增强现实、虚拟现实、人脸识别和移动医疗等，这些应用给计算和存储资源需求带来了显著增长。
   • 多接入边缘计算（MEC）作为解决这一问题的关键技术，旨在将云计算能力延伸到靠近用户的网络边缘，从而显著减轻网络拥塞和降低服务延迟。

2. MEC中的任务卸载

   • MEC的关键功能之一是任务卸载，即将移动应用的计算密集型任务从用户设备（UE）卸载到网络边缘的MEC主机。
   • 许多移动应用由依赖任务组成，可建模为有向无环图（DAG），因此在DAG中以最小延迟进行任务卸载是MEC中的关键