Dong, L., Jiang, F., Wang, M., Peng, Y., & Li, X. (2024). Deep Progressive Reinforcement Learning-Based Flexible Resource Scheduling Framework for IRS and UAV-Assisted MEC System. IEEE Transactions on Neural Networks and Learning Systems, PP. https://doi.org/10.1109/TNNLS.2023.3341067
深度渐进式强化学习的灵活资源调度框架,用于IRS和UAV辅助的MEC系统。
摘要
智能反射表面(IRS)和无人机(UAV)辅助的移动边缘计算(MEC)系统广泛应用于临时和紧急情况。我们的目标是通过联合优化UAV位置、IRS相移、任务卸载和资源分配以及可变数量的UAV,从而最小化MEC系统的能耗。为此,我们提出了一种灵活的资源调度(FRES)框架,采用了一种新颖的深度渐进式强化学习,包括以下创新点。首先,提出了一种新颖的多任务代理来处理混合整数非线性规划(MINLP)问题。多任务代理具有两个输出头,分别设计用于不同的任务,其中采用分类头做出带有整数变量的卸载决策,而采用拟合头解决带有连续变量的资源分配。其次,引入了一个渐进调度器,通过渐进地调整代理中的一部分神经元,使代理适应可变数量的UAV。这种结构可以自然地累积经验并对灾难性遗忘具有免疫性。最后,引入了轻量级禁忌搜索(LTS)来增强FRES的全局搜索。数值结果表明了FRES框架的优越性,即使在动态MEC系统中也能实现实时和最优的资源调度。
图1. IRS和UAV辅助的MEC系统。
图2. FRES框架的资源调度部分。
图3. 多任务代理的结构。
图4. 逐步调度器,包括为UAV进行动态神经元分配。