Cooperative Edge Caching Based on Elastic Federated and Multi-Agent Deep Reinforcement Learning

Wu, Q., Wang, W., Fan, P., Fan, Q., Zhu, H., & Letaief, K. B. (2024). Cooperative Edge Caching Based on Elastic Federated and Multi-Agent Deep Reinforcement Learning in Next-Generation Network. In arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2401.09886

基于弹性联邦学习和多智能体深度强化学习的下一代网络协同边缘缓存

边缘缓存是下一代网络的一个有前景的解决方案，通过赋予小区基站（SBSs）中的缓存单元以力量，使用户设备（UEs）能够在SBSs中预缓存的情况下获取用户请求的内容。对于SBSs来说，通过学习准确预测受欢迎的内容至关重要，同时保护用户的个人信息。传统的联邦学习（FL）可以保护用户的隐私，但UEs之间的数据差异可能导致模型质量下降。因此，有必要为每个UE训练个性化的本地模型，以准确预测受欢迎的内容。此外，在下一代网络中，缓存的内容可以在相邻的SBSs之间共享，因此在不同的SBSs中缓存预测的受欢迎的内容可能会影响获取内容的成本。因此，确定在哪里协同缓存受欢迎的内容至关重要。为了解决这些问题，我们提出了一种基于弹性联邦学习和多智能体深度强化学习的协同边缘缓存方案（CEFMR），以优化网络中的成本。我们首先提出了一种弹性FL算法，用于为每个UE训练个性化模型，其中采用对抗自编码器（AAE）模型进行训练以提高预测准确性，然后提出了一种基于训练的AAE模型的SBS的受欢迎内容预测算法。最后，我们提出了一种基于多智能体深度强化学习（MADRL）的算法，用于确定在SBSs之间协同缓存预测的受欢迎内容的位置。我们的实验结果证明了我们提出的方案相对于现有基线缓存方案的优越性。

图1 协同边缘缓存架构

图2 联邦学习

图3 AAE模型

图4：MADDPG算法在训练阶段的流程图