论文阅读Hierarchical Deep Reinforcement Learning for Joint Service Caching and Computation Offloading

Sun, C., Li, X., Wang, C., He, Q., Wang, X., & Leung, V. C. M. (n.d.). Hierarchical Deep Reinforcement Learning for Joint Service Caching and Computation Offloading in Mobile Edge-Cloud Computing. IEEE Transactions on Services Computing, PP(99), 1–16. https://doi.org/10.1109/TSC.2024.3355937

在移动边缘云计算中，分层深度强化学习用于联合服务缓存和计算卸载

移动边缘云计算网络能够提供分布式、层次化和细粒度的资源，已经成为未来高性能计算网络的主要目标。关键在于如何联合优化服务缓存和计算卸载。然而，联合服务缓存和计算卸载问题面临着动态任务、异构资源和耦合决策三个显著的挑战。在本文中，我们研究了移动边缘云计算网络中联合服务缓存和计算卸载的问题。具体而言，我们将优化问题表述为最小化长期平均服务延迟，这是一个NP难问题。为了解决这个问题，我们进行了深入的理论分析，并将其分解为两个子问题：服务缓存处理和计算卸载处理。我们首次提出了一种新颖的分层深度强化学习算法来解决这个问题，其中多个边缘代理和一个云代理共同决定缓存动作和卸载动作。通过基于轨迹的模拟获得的结果显示，所提出的框架在各种场景下优于几种流行算法，尤其是平均服务延迟方面。在一个复杂的真实场景中，与基于强化学习的算法相比，我们的框架实现了约33%的收敛改进和显著的39%的平均服务延迟减少。