DRL for Online Computation Offloading in Wireless Powered Mobile-Edge Computing Networks

[1]

L. Huang, S. Bi, and Y.-J. A. Zhang, ‘Deep Reinforcement Learning for Online Computation Offloading in Wireless Powered Mobile-Edge Computing Networks’, IEEE Transactions on Mobile Computing, vol. 19, no. 11, pp. 2581–2593, 2020, doi: 10.1109/TMC.2019.2928811.

建模针对的场景是 1个AP ，N个Device。AP场景是针对TDMA，且在一个时间T内，会有一部分时间能量传递，其时间为a。

问题建模：

目标是最大化rate，注意 每个时间段channel gain  是一个变化量。

 

决策变量：

第一类： offloading 变量x，本文使用的是binary offloading

第二类： 时间分配变量，a是能量传递时间，以及 是分给各个设备的计算时间。

 

 

 算法：

问题原本是一个混合非线性非凸规划MINLP。

把问题拆分成两个部分，一个部分是 offloading变量x，另一部分是时间分配变量a和

用 DRL来解决offloading变量x，因为它是整数变量不好解；解决的时候，DRL的输入是channel gain，即每个时隙T的channel是会发生变化的， 然后网络输出以action , 注意

是一一个N*1的向量，里面的数值是连续 的，都在[0,1]之间；

之后，利用 ，文中做了一个量化的方案，将量化为K个不同的offloading solution，然后根据这K个offloading solution，计算凸优化问题得到其对应的Q，将选择k个之中 最好的offloading solution作为action，与输入组成一个 状态-动作对。 

给定offloading变量x之后，原问题只剩下 时间分配变量a和是一个凸优化问题，可以直接解决。