【Only notes here】20200217

Deep Reinforcement Learning for Online Computation Offloading in Wireless Powered Mobile-Edge Computing Networks

PRE

系统模型

• 由一个Access Point和N个fixed Wireless Devices组成的 MEC network，表示为集合 N = { 1 , 2 , … , N } \mathcal{N}=\{1,2,\dots,N\} N={1,2,…,N}
• 每个设备实现时分复用（Time-division-multiplexing）电路，避免无线电传输和通信之间的干扰
• 系统时间被划分为长度相等的连续时间帧 $T$
• 每个标记时间，无线设备从接入点获取的能量 和 它们之间的通信速度 都与无线信道增益有关
• 在一个时间帧的开始，$aT$ 的时间量用于无线电传输，这里 $a\in [0,1]$
• 第 $i$ 个无线设备收获能量：
  $$E_i=\mu P{h}_{i}aT$$
  • $\mu \in (0,1)$：能量收集效率
  • $P$：接入点发射功率
  • $h_i$：接入点和无线设备$i$之间的无线信道增益
• 每个无线设备利用获得的能量，需在一个时间帧结束之前完成一个计算任务
• $w_i$：分配给无线设备$i$的权重；它越大，分配给设备$i$的计算速率就越大
• 本文考虑一个二进制卸载策略，这个任务要么在设备本地计算，要么卸载到Access Point执行计算
• $x_i=1$表示$use{r}_i$将计算任务卸载到Access Point
  $x_i=0$表示任务在本地执行计算

---

本地计算模式

• 本地计算模式下的无线设备可同时获取能量和执行计算任务

• 无线设备处理的比特数：$f_i{t}_i/\varphi$

  • $f_i$：无线设备$i$ CPU计算速度（cycles / 秒）
  • $t_i$：无线设备$i$计算时间，$0\le t_i\le T$
  • $\varphi$：处理1bit任务数据所需的cycles，$\varphi >0$

• 由于计算而产生的能量消耗受$k_i{f}_i^3{t}_i\le E_i$的约束

  • $k_i$：计算能效系数

• 本地计算速率（bits/秒）：
  $$r_{L,a}^{\ast }(a)=\frac{f_i^{\ast }{t}_i^{\ast }}{\varphi T}=\eta (\frac{h_i}{{\kappa }_i}{)}^{\frac{1}{3}}{a}^{\frac{1}{3}}$$

固定参数：${\eta }_1\triangleq (\mu P{)}^{\frac{1}{3}}/\varphi$

---

边缘计算模式

• 由于时分复用的约束，处于卸载模式的无线设备只能在获取能量后将任务卸载到Access Point
• ${\tau }_{i}T$：设备 $i$ 的卸载时间。${\tau }_i\in [0,1]$
• 本文假定 Access Point的计算速度&传输功率远大于大小及资源受限的无线设备（超过三个数量级）
• 下载到无线设备的结果反馈比数据卸载到边缘服务器的时间要短得多
• 如图所示，我们安全地忽略AP在任务计算和下载上花费的时间，有：
  $$\sum _{i=1}^N{\tau }_i+a\le 1$$
• 为了最大化计算速率，设备在任务卸载时耗尽其收获的能量，即$P_i^{\ast }=\frac{E_i}{{\tau }_{i}T}$
• 计算速率：$$r_{O,i}^{\ast }(a,{\tau }_i)=\frac{B{\tau }_i}{v_u}lo{g}_2(1+\frac{\mu Pa{h}_i^2}{{\tau }_i{N}_0})$$
  $B$：通信带宽
  $N_0$：接收器噪声功率

---

问题建模

• 两种计算模式的所有系统参数中，假定只有无线信道增益 h = { h i ∣ i ∈ N } h=\{h_i|i\in \mathcal{N}\} h={hi​∣i∈N}是时变的，其他是固定参数
• 在一个标记时间帧中，无线电MEC网络的加权和计算速率：$$Q(\mathbf{h},\mathbf{x},\tau ,a)\triangleq \sum _{i=1}^N{\omega }_i((1-x_i)r_{L,a}^{\ast }(a)+x_i{r}_{O,i}^{\ast }(a,{\tau }_i))$$
  x = { x i ∣ i ∈ N } \mathbf{x}=\{x_i|i\in \mathcal{N}\} x={xi​∣i∈N}
  τ = { τ i ∣ i ∈ N } \mathbf{\tau}=\{\tau_i|i\in \mathcal{N}\} τ={τi​∣i∈N}

• 如果无线设备$i$本地计算，即$x_i=0$，可以推断：${\tau }_i=0$

• 问题P1是一个很难求解的MIP非凸问题，然而一旦给定$\mathbf{x}$，问题P1就减化为一个如下所示凸问题：
  

• 因此问题P1可分解为两个子问题，即卸载决策 & 资源分配
  

  1. 卸载决策： 需要在$2^N$个可能的卸载决策中进行搜索，以找到 最优 或 满意的次优 卸载决策$\mathbf{x}$；
     例如提出的元启发式搜索算法来优化卸载决策，然而算法收敛时间很长（因为搜索空间是指数级的）
  2. 资源分配： 凸问题P2的最优时间分配 { a ∗ , τ ∗ } \{a^*,\tau^*\} {a∗,τ∗}可有效地解决。例如，使用一维二分搜索（时间复杂度$O(N)$）

• 当前求解P1的主要困难在于卸载决策问题

• 传统的优化算法需要迭代调整卸载决策，使其趋于最优，这对于快速衰落信道下的实时系统优化是不可行的

• 为了解决复杂度问题，本文提出了一种基于深度强化学习的在线卸载（DROO）算法，该算法可在求解卸载决策问题时达到ms级的计算问题

---

DROO ALGORITHM

The policy is denoted as：
$$\pi ：h\mapsto x^{\ast }$$
DROO算法从经验中逐渐学习到这样的策略函数$\pi$。

算法概述

1. 结构：
   
2. 由两个交替的阶段组成：卸载动作生成 & 卸载策略更新
3. 卸载动作的产生依赖于深度神经网络，深度神经网络的特征在于其嵌入参数$\theta$，例如连接隐藏神经元的权重
4. 第$t$个时间帧，深度神经网络将信道增益$h_t$作为输入，并基于由${\theta }_t$参数化的其当前卸载策略${\pi }_{{\theta }_t}$输出卸载动作${\hat{x}}_t$
5. 然后松弛动作量化为K个二进制卸载动作，其中根据问题P2中的可实现计算速率选择一个最佳动作$x_t^{\ast }$
6. 相应的 { x t ∗ , a t ∗ , τ t ∗ } \{\mathbf{x}^*_t,a^*_t,\tau^*_t\} {xt∗​,at∗​,τt∗​}作为$h_t$的解被输出，这保证了上述的物理约束得到满足
7. 网络执行卸载动作$x_t^{\ast }$，得到奖励$Q^{\ast }({\mathbf{h}}_t,x_t^{\ast })$，并将新获得的状态-动作对$({\mathbf{h}}_t,x_t^{\ast })$添加到重放存储器（replay memory）
8. 随后，在第$t$时间帧的策略更新阶段，从存储器中提取一批训练样本来训练DNN，DNN相应地更新参数${\theta }_t$ to ${\theta }_{t+1}$ （相当于卸载策略${\pi }_{{\theta }_{t+1}}$）
9. 新的卸载策略${\pi }_{{\theta }_{t+1}}$用于下一时间帧中，根据观测到的新信道$h_{t+1}$生成卸载决策$x_{t+1}^{\ast }$
10. 重复迭代，深度神经网络的策略 ${\pi }_{{\theta }_t}$ 逐渐改进

卸载动作生成

1. 假定在$t$时刻观察信道增益$h_t$，这里$t=1,2,\dots$
2. $t=1$时，深度神经网络${\theta }_t$的参数按照零均值正态分布随机初始化
3. 深度神经网络首先输出一个松弛计算卸载动作${\hat{x}}_t$，由参数化函数${\hat{x}}_t=f_{{\theta }_t}({\mathbf{h}}_t)$。这里 x ^ t = { x ^ t , i ∣ x ^ t , i ∈ [ 0 , 1 ] , i = 1 , … , N } \hat{x}_t=\{\hat{x}_{t,i}|\hat{x}_{t,i}\in [0,1],i=1,\dots,N\} x^t​={x^t,i​∣x^t,i​∈[0,1],i=1,…,N}
4. 著名的通用逼近定理声明，如果在神经元上应用适当的激活函数，例如sigmoid、ReLu和tanh函数，一个具有足够隐藏神经元的隐藏层足以逼近任何连续映射$f$
5. 这里使用ReLu作为隐藏层的激活函数，其中神经元的输出$y$和输入$v$与 y = m a x { v , 0 } y=max\{v,0\} y=max{v,0}相关
6. 在输出层使用sigmoid激活函数，即$y=1/(1+e^{-v})$，使得松弛卸载动作满足${\hat{x}}_{t,i}\in (0,1)$
7. 然后，量化${\hat{x}}_t$以获得$K$个二进制卸载动作
8. 量化函数$g_K$： g K ： x ^ t ↦ { x k ∣ x k ∈ { 0 , 1 } N , k = 1 , … , K } g_K：\hat{x}_t\mapsto \{\mathbf{x}_k|\mathbf{x}_k\in\{0,1\}^N,k=1,\dots,K\} gK​：x^t​↦{xk​∣xk​∈{0,1}N,k=1,…,K}
9. $K$可以是$[1,2^N]$的任何整数，较大的$K$导致更好的解质量、更高的计算复杂度，反之亦然
10. 为平衡性能和复杂度，提出了一个保序量化方法，这里$K$值设置为1到N+1；基本思想是在量化过程中保持有序性
    • 第一个二进制卸载决策${\mathbf{x}}_1$
      $$x_{1,i}=\{\begin{array}{ll}1& {\hat{x}}_{t,i}>0.5,\\ 0& {\hat{x}}_{t,i}\le 0.5,\end{array}$$
      for $i=1,\dots ,N.$
    • 为了生成剩余$K-1$个动作，首先对${\hat{x}}_t$的条目进行排序，其各自的距离为$0.5$
      
11. 后面小节会提到在每个时间帧中生成大量量化动作不仅效率低下，而且没有必要；相反，设置一个小$K$（甚至接近于1）经过足够长的训练周期足以获得良好的计算速率性能和低复杂度
12. 每个候选动作${\mathbf{x}}_k$通过求解问题P2来实现$Q^{\ast }({\mathbf{h}}_t,{\mathbf{x}}_k)$计算速率；
13. 因此，在$t$时刻，最佳卸载动作 x t ∗ = arg ⁡ max ⁡ x i ∈ { x k } Q ∗ ( h t , x k ) \mathbf{x}_t^*=\arg\max_{\mathbf{x}_i\in\{\mathbf{x}_k\}}Q^*(\mathbf{h}_t,\mathbf{x}_k) xt∗​=argxi​∈{xk​}max​Q∗(ht​,xk​)

---

卸载策略更新

1. 上式得到的卸载方案将用于更新深度神经网络的卸载策略
2. 具体来说，我们保持一个最初容量有限的memory，在$t$时间，将新的训练数据样本$({\mathbf{h}}_t,{\mathbf{x}}_t^{\ast })$添加到memory。当memory已满时，新生成的数据样本替换最旧的数据样本
3. 使用经验回放技术，