Deep Reinforcement Learning-Based Task Offloading for Vehicular Edge Computing With Flexible RSU-RSU

Fan, W., Zhang, Y., Zhou, G., & Liu, Y. ’an. (n.d.). Deep Reinforcement Learning-Based Task Offloading for Vehicular Edge Computing With Flexible RSU-RSU Cooperation. IEEE Transactions on Intelligent Transportation Systems, PP(99), 1–14. https://doi.org/10.1109/TITS.2024.3349546

深度强化学习基于灵活RSU-RSU合作的车载边缘计算任务卸载。

车辆边缘计算（VEC）作为一种增强技术，为车联网（IoV）应用提供低延迟和低能耗。车辆的移动性和道路边单元（RSUs）的负载差异是VEC中的两个重要问题。前者导致任务结果接收失败，因为车辆移出当前RSU的覆盖范围；后者导致系统性能下降，因为RSUs之间的负载不平衡。这些问题可以通过利用灵活的RSU-RSU合作得到很好的解决，这在现有研究中尚未完全研究。在本文中，我们提出了一种新颖的资源管理方案，用于联合任务卸载、车辆和RSUs的计算资源分配、车辆到RSU的发射功率分配以及RSU到RSU的传输速率分配。在我们的方案中，任务结果可以传输到车辆当前所在的RSU，并且任务可以从负载高的RSU进一步卸载到负载低的RSU。为了最小化所有车辆的总任务处理延迟和能耗，我们设计了一种基于双延迟深度确定性策略梯度（TD3）的深度强化学习（DRL）算法，其中我们嵌入了一个优化子例程通过数值方法解决2个子问题，从而降低了算法的训练复杂性。在6种不同场景下进行了大量模拟。与4种参考方案相比，我们的方案可以将总任务处理成本降低17.3%-28.4%。

图1. 由5个任务处理案例组成的RSU-RSU协作VEC场景。