【Only notes here】20200206

《基于深度强化学习的移动边缘计算中的计算卸载与资源分配算法》作者：李季

1. 基于强化学习的整体计算卸载

1.1 系统模型

1.1.1 网络模型

• 单小区场景：一个基站，与MEC服务器部署在一起，为小区内 $N$ 个 User Equipment ，UE 提供计算服务。
• 如果同时有 $K$ 个用户卸载计算，$U{E}_n$可实现的数据上传速率 $r_n$：
  
  • $W$ ：无线信道的带宽
  • $P_n$ ：$U{E}_n$的传输功率
  • $h_n$ ：分配给$U{E}_n$ 的无线信道的信道增益
  • $N_0$ ：复杂高斯白噪声信道的方差

---

• 每个$U{E}_n$ 都有一个计算密集型任务$R_n\triangleq (B_n,D_n,{\tau }_n)$ ，可选择在本地设备 / 卸载至MEC服务器上处理
  • $B_n$ ：完成$R_n$所需的输入数据的大小
  • $D_n$ ：完成计算任务所需的CPU周期总数，$D_n$ 与 $B_n$ 的大小呈正相关
  • ${\tau }_n$ ：任务$R_n$ 的最大可容纳延迟
• 每个$UE$只能选择 本地处理 / 将任务整体卸载到MEC服务器上处理
• 用$0-1$向量 α n ∈ { 0 , 1 } \alpha_n \in\{0,1\} αn​∈{0,1} 表示$U{E}_n$的卸载决策，定义$\mathrm{A}=[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N]$为整个MEC系统的卸载决策向量。
  • ${\alpha }_n=0$，选择本地计算；${\alpha }_n=1$，选择整体卸载到MEC服务器执行计算

1.1.2 计算执行模型

A. 本地处理模型

• $T_n^l$ ：$U{E}_n$的本地执行延迟，它只包括本地CPU的处理时间
• $f_n^l$ ：$U{E}_n$的计算能力（单位是每秒的CPUcycle数）
• 用户$n$的计算任务$R_n$在本地完成的执行时间$T_n^l$：
  
• $E_n^l$ ：本地计算的能耗
  
• $z_n$ ：能耗密度
• 综合考虑执行延迟和能耗，$U{E}_n$选择本地计算的加权开销：
  
• $0\le I_n^t,I_n^e\le 1$：用户n的执行延迟和能耗的权重参数

B. 卸载处理模型

• $U{E}_n$上传输入数据到基站，再由基站转给MEC服务器

• MEC服务器分配部分计算资源来执行计算任务

• MEC将执行结果返回给$U{E}_n$

• 根据上述三步骤，卸载处理的执行延迟会包含三部分
  第一部分：
  传输$B_n$大小的输入数据产生的传输延迟$T_{n,t}^o$：
  

  • $r_n$ ：上传数据的速率
    该过程对应的能耗：
    
    第二部分：
    MEC服务器处理任务$R_n$的处理延迟$T_{n,p}^o$
  • $f_n$ ：MEC服务（单位是每秒的CPU cycle数）
    
    该过程的能耗$E_{n,p}^o$ ：
    

  第三部分：

  • $B_b$ ：回传数据大小
  • $r_b$ ：回传过程的数据传输速率
    回传过程的是时间延迟$T_{n,b}^o$：
    

• 无线网络的回传速率一般远高于上传数据 & 回传数据大小远小于输入数据，因此回传过程的延迟和能耗一般忽略掉

• 完整的卸载计算的执行延迟 & 能耗：
  

• 加权总开销：
  

---

1.2 问题建模

• 有了本地计算 / 卸载计算的加权总开销，$U{E}_n$只能选择其中一种计算方式，优化的目标是所有User的加权总开销之和，即：
  
• 加权总开销最小化问题由下式表示：
  

---

1.3 解决方案

1.3.1 状态&动作&回报

• 状态：
• 动作：每一个动作a由两部分组成：所有用户的卸载决策$\mathrm{A}=[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N]$ 和资源分配$f=[f_1,f_2,\dots ,f_N]$，将二者可能取值情况组合，得到动作向量$[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N,f_1,f_2,\dots ,f_N]$
• 回报：对于寻找最佳状态过程的每一步来说，agent在状态s下，执行一个可能的动作a后，都会得到一个回报R(s,a)，当前的优化目标是最小化总开销，而强化学习的目标是最大化回报，
  
  上式表示当前的加权总开销比全本地计算的加权总开销减少的比例，R(s,a)越大——说明当前状态的tc越小，得到最大回报等同于获得了最小的加权总开销，这样就成功转化了问题。
• 作者在学习过程之前提出了一个预分类步骤，解决随着用户增加带来的算法运行和收敛问题。

1.3.2 Q-learning方法

……

1.3.3 Deep Q Network方法

• DQN基本思想：使用DNN来近似估计Q(s,a)，而不是计算每个state-action的Q值

2020-02-05

---

2. 基于深度学习的部分计算卸载

2.1 系统模型

2.1.1 网络模型

• 小区中有一个Base Station(BS) & $N$ 个Mobile Device(MD)
• 每个MD_i有计算密集型任务$A_i\triangleq (X_i,L_i,{\tau }_i^d)$ 需要处理
  1. $X_i$ ：单位bits，表示计算$A_i$所需的数据大小，包括程序代码&输入参数
  2. $L_i$ ：表示计算强度，单位为计算每bit数据所需的CPU周期为单位
  3. $L_i{X}_i$ ：处理所有输入数据所需的CPU周期总数，反映了完成任务$A_i$所需的计算资源量
  4. ${\tau }_i^d$ ：表示完成任务的时间限制
• 许多复杂应用程序可分为两部分进行处理，即本地执行部分和服务器执行部分
• ${\alpha }_i\in [0,1)$ 表示MD_i 的卸载率。${\alpha }_i\in [0,1)$代表卸载处理数据的百分比，$1-{\alpha }_i$代表本地处理数据的百分比。$\alpha =[{\alpha }_1,{\alpha }_2,{\alpha }_3,\dots ,{\alpha }_N]$表示所有UE的卸载率
• 将计算任务拆分之后再进行处理，可充分利用服务器和MD_s并行计算的优势，在延迟缩减和能耗节约上取得更好的效果
• MD_i可实现的数据上传速率R_i：
  
• $W$：无线信道的带宽
• $P_i$：MD_i上传数据的传输功率
• ${\theta }^2$：复杂高斯白信道噪声的方差

2.1.2 计算执行模型

A. 本地处理模型

• 本地执行延迟$t_i^l$：
  
• 本地执行能耗$e_i^l$：
  
• 通过合理分配本地计算频率$f_i^l$，来减少用户设备自身的能耗
  

B. 卸载处理模型

1. MD_i通过无线接入网络将输入数据$X_i$的卸载计算部分${\alpha }_i{X}_i$上传至基站，基站再将数据转发到MEC服务器
2. MEC服务器分配计算资源来执行卸载部分的计算处理
3. 最后，MEC服务器通过基站将执行结果返回给MD_i

• 整个卸载执行过程中的能耗：
  

2.2 问题建模

• 对于每个UE，本地处理能耗+卸载处理能耗就能得到MD_i在整个计算过程中的能耗：
  
• 在部分卸载模型下，目的是最小化MEC系统中所有用户的能耗之和。