[论文阅读]Medley deep reinforcement learning-based workload offloading and cache placement decision

Ke, H., Wang, H., & Sun, H. (2024). Medley deep reinforcement learning-based workload offloading and cache placement decision in UAV-enabled MEC networks. Complex & Intelligent Systems. https://doi.org/10.1007/s40747-023-01318-7

论文中文题目：基于深度强化学习的载荷卸载和缓存放置决策在无人机支持的MEC网络中的调度。

摘要
物联网设备实时生成大量异构工作负载，需要特定的应用来处理，由于复杂的场景导致设备之间和通信基站之间无法通信是一个棘手的问题。服务缓存在管理来自设备的特定请求工作负载方面发挥关键作用，具有计算和通信功能的无人机可以有效解决设备与地面基站之间的通信障碍。此外，工作负载卸载和服务缓存放置的联合优化是一个关键问题。因此，我们设计了一个具有多个设备、无人机和边缘服务器的无人机支持的移动边缘计算系统。所提出的框架考虑了工作负载到达的随机性、信道状态的时变性、托管服务缓存的限制以及无线通信阻塞。此外，我们设计了工作负载卸载和服务缓存托管决策优化问题，以最小化长期加权平均延迟和能耗成本。为了解决这个联合优化问题，我们提出了基于混合深度强化学习方案的请求特定工作负载卸载和服务缓存决策方案。为此，所提出的方案被分解为两阶段优化子问题：工作负载卸载决策问题和服务缓存托管选择问题。在第一个子问题方面，我们将每个设备建模为一个学习代理，并提出了基于多代理深度确定性策略梯度的工作负载卸载决策方案。对于第二个子问题，我们提出了分散的双重深度Q学习方案来解决服务缓存托管策略。根据综合实验结果，所提出的方案能够在各种参数配置上快速收敛，并且其性能超越了其他四种基准学习算法。

图1 多个物联网设备和多个边缘服务器之间的通信和计算模式

图2：基于MADDPG的物联网代理决策训练和执行模型。

图3：基于DDQN的服务缓存托管决策制定方案。