【论文阅读】当深度强化学习遇到联邦学习：5G超密集网络中多接入边缘计算的智能多时间尺度资源管理

• 只做学习记录，侵删原文链接

@article{yu2020deep,
title={When deep reinforcement learning meets federated learning: Intelligent multitimescale resource management for multiaccess edge computing in 5G ultradense network},
author={Yu, Shuai and Chen, Xu and Zhou, Zhi and Gong, Xiaowen and Wu, Di},
journal={IEEE Internet of Things Journal},
volume={8},
number={4},
pages={2238–2251},
year={2020},
publisher={IEEE}
}

问题描述

研究目标

1. 充分利用系统资源：边缘服务器分配各种系统资源（例如，计算、通信、存储和服务）来处理卸载的部分；
2. 动态和低成本调度：服务缓存放置策略、计算卸载需要实时性以及低开销资源分配；
3. 隐私和安全保护：服务在设备之间的迁移会导致许多安全和隐私问题。

解决方案

系统模型

本文讨论的问题在上图一个蜂窝内进行研究。

任务模型

任务之间存在也来关系由d的脚标表示。

计算卸载模型

卸载分为在本地、边缘服务器和其他设备。

算法设计

本文使用到了两时间刻度的DQN，DQN的简单介绍如下，参考的博客见图片水印。

T1服务放置为慢时间刻度，T2卸载决策和资源分配为快时间刻度。

下图为个人理解的整体算法套用过程，可能和原文有出入，仅供参考，以原作者为主。

实验部分不在此是赘述，感兴趣可以阅读原文。