无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（4）——DDPG-based算法

无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（4）——DDPG-based算法

参考文献：

[1] Wang Y , Fang W , Ding Y , et al. Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach[J]. Wireless Networks, 2021:1-16.doi：https://doi.org/10.1007/s11276-021-02632-z

4 DDPG-based算法

4.1 状态空间

在无人机辅助的MEC系统中，状态空间由 k 个用户、一个无人机及其环境共同确定。时间槽 i 处的系统状态可定义为:
$$\begin{array}{rl}{s}_i=& (E_{\text{battery }}(i),\mathbf{q}(i),{\mathbf{p}}_1(i),\dots ,{\mathbf{p}}_K(i),D_{\text{remain }}(i),\\ & D_1(i),\dots ,D_K(i),f_1(i),\dots ,f_K(i)),\end{array}$$
式中， $E_{\text{battery }}(i)$ 为 i 时刻无人机电池剩余能量， $\mathbf{q}(i)$ 为无人机位置信息， ${\mathbf{p}}_K(i)$ 为无人机服务的UE k的位置信息， $D_{remain}(i)$ 为整个时间段系统需要完成的剩余任务大小， $D_K(i)$ 为UE k在 i 时刻随机生成的任务大小， $f_K(i)$ 表示UE k的信号是否被障碍物阻挡。特别是当 $i=1$ ， $E_{\text{battery }}(i)=E_b$ 和 $D_{remain}(i)=D$ 。

4.2 行动空间

agent根据系统当前状态和所观察的环境，选择待服务的动作包括 i 时刻被服务的UE $k^{\prime }$ 、无人机飞行角度、无人机飞行速度、任务卸载比等，动作 $a_i$ 表示为:
$$a_i=\left(k(i),\beta (i),v(i),R_k(i)\right)$$
值得注意的是，DDPG 中的演员网络输出连续的动作。被 agent 选择的动作变量 UE $k(i)\in [0,K]$ 需要进行离散化，即如果 $k(i)=0$ ，则 $k^{\prime }=1$ ;如果 $k(i)\ne 0$ ，则 $k^{\prime }=\lceil k(i)\rceil ,$ 其中 $\lceil \cdot \rceil$ 为向上取整操作。在一个连续动作空间内，可以精确优化无人机的飞行角度、飞行速度和任务卸载比，即 $\beta (i)\in [0,2\pi ]$, $v(i)\in \left[0,v_{\max }\right]$ ，以及 $R_k(i)\in \left[0,1\right]$ 。对以上四个变量进行联合优化，使系统成本最小。

4.3 奖励函数

agent 的行为是基于奖励的，选择合适的奖励函数对 DDPG 框架的性能起着至关重要的作用。我们的目标是通过最小化问题 (9) 中定义的处理延迟来实现回报最大化，如下所示:
$$r_i=r\left(s_i,a_i\right)=-{\tau }_{\text{delay }}(i)$$
其中，时间槽 i 的处理延迟为
τ delay  ( i ) = ∑ k = 1 K α k ( i ) max ⁡ { t local  , k ( i ) , t U A V , k ( i ) + t t r , k ( i ) } \tau_{\text {delay }}(i)=\sum_{k=1}^{K} \alpha_{k}(i) \max \left\{t_{\text {local }, k}(i), t_{U A V, k}(i)+t_{t r, k}(i)\right\} τdelay ​(i)=k=1∑K​αk​(i)max{tlocal ,k​(i),tUAV,k​(i)+ttr,k​(i)}
，并且如果 $k=k^{\prime }$ ，则 ${\alpha }_k(i)=1$ ;否则 ${\alpha }_k(i)=0$ 。通过DDPG算法，可以找到使Q值最大化的动作。系统的长期平均报酬可以用 Bellman 方程表示为:
$$Q_{\mu }\left(s_i,a_i\right)={\mathbb{E}}_{\mu }\left[r\left(s_i,a_i\right)+\gamma Q_{\mu }\left(s_{i+1},\mu \left(s_{i+1}\right)\right)\right]$$

4.4 状态标准化

在 DNN 的训练过程中，输入在每一层的分布会随着前一层参数的变化而变化，这需要较低的学习速率和细致的参数初始化，从而减慢了训练的速度。Ioffe 和 Szegedy 提出了一种批处理归一化机制，该机制允许训练使用更高的学习率，并且对初始化不那么小心。我们提出了一种状态归一化算法对观测状态进行预处理，从而更有效地训练 DNN 。值得注意的是，与Qiu的状态归一化算法不同，本文算法将每个变量的最大值与最小值之差作为尺度因子。所提出的状态归一化算法可以很好地解决输入变量的大小差异问题。

在我们的工作中，变量 $E_{\text{battery }}(i),\mathbf{q}(i),{\mathbf{p}}_1(i),\dots ,{\mathbf{p}}_K(i),D_{\text{remain }}(i),D_1(i),\dots ,D_{K-1}(i)$ 和 $D_{K-1}(i)$ 在状态集中处于不同的序列，这可能导致在训练中出现问题。如算法 1 所示，通过状态归一化对这些变量进行归一化，以防止出现这种问题。在状态归一化算法中，我们使用了五个尺度因子。每个因素可以解释如下。利用缩放因子 ${\gamma }_b$ 来缩小无人机电池容量。由于 UAV 和 UE 具有相同的 x 和 y 坐标范围，我们使用 ${\gamma }_x$ 和 ${\gamma }_y$ 分别缩小UAV和UE的x和y坐标。我们使用 ${\gamma }_{D_{rm}}$ 来缩小整个时间段内剩余的任务，使用 ${\gamma }_{D_{UE}}$ 来缩小时间段 i 内每个终端的任务大小。

4.5 训练与测试

对基于 DDPG 的计算卸载算法的学习和评估分为训练和测试两个阶段。基于DDPG的计算卸载训练算法如算法 2 所示。在训练过程中，对训练行为策略的批评家网络参数和演员网络参数进行迭代更新。算法 3 描述了计算卸载测试过程，采用了算法 2 中训练好的演员网络 ${\theta }^{\mu }$ 。需要注意的是，由于演员网络是用归一化状态进行训练的，所以在测试过程中，我们还需要对输入状态进行预处理。