[TNNLS论文阅读]Deep Progressive Reinforcement Learning-Based Flexible Resource Scheduling Framework for

Dong, L., Jiang, F., Wang, M., Peng, Y., & Li, X. (2024). Deep Progressive Reinforcement Learning-Based Flexible Resource Scheduling Framework for IRS and UAV-Assisted MEC System. IEEE Transactions on Neural Networks and Learning Systems, PP. https://doi.org/10.1109/TNNLS.2023.3341067

深度渐进式强化学习的灵活资源调度框架，用于IRS和UAV辅助的MEC系统。

摘要
智能反射表面（IRS）和无人机（UAV）辅助的移动边缘计算（MEC）系统广泛应用于临时和紧急情况。我们的目标是通过联合优化UAV位置、IRS相移、任务卸载和资源分配以及可变数量的UAV，从而最小化MEC系统的能耗。为此，我们提出了一种灵活的资源调度（FRES）框架，采用了一种新颖的深度渐进式强化学习，包括以下创新点。首先，提出了一种新颖的多任务代理来处理混合整数非线性规划（MINLP）问题。多任务代理具有两个输出头，分别设计用于不同的任务，其中采用分类头做出带有整数变量的卸载决策，而采用拟合头解决带有连续变量的资源分配。其次，引入了一个渐进调度器，通过渐进地调整代理中的一部分神经元，使代理适应可变数量的UAV。这种结构可以自然地累积经验并对灾难性遗忘具有免疫性。最后，引入了轻量级禁忌搜索（LTS）来增强FRES的全局搜索。数值结果表明了FRES框架的优越性，即使在动态MEC系统中也能实现实时和最优的资源调度。

图1. IRS和UAV辅助的MEC系统。

图2. FRES框架的资源调度部分。

图3. 多任务代理的结构。

图4. 逐步调度器，包括为UAV进行动态神经元分配。