Reading之A Two-Timescale Resource Allocation Scheme in Vehicular Network Slicing

A Two-Timescale Resource Allocation Scheme in Vehicular Network Slicing

---

---

系统建模

网络模型

• BS与车辆们组成的车联网场景，BS能够与车辆通信大量的数据，每个车辆都有其特定的服务需求。
• 三层协议结构：BS接口层（根据每个片的类型来分离片的资源需求，并为片提供不同的接口）、BS虚拟化层（为每个切片分配本地RB）、BS资源层(管理本地RB)。
• BS收集车辆请求信息，提供虚拟平台与所有切片共享网络资源。

切片模型

• 总频谱带宽（本文中也称之为资源）$W$, 共有$V$个切片collected by $\mathcal{V}$;
• ${\mathcal{U}}_v$denotes 系统状态（切片$v$上车辆的集合), $|{\mathcal{U}}_v|=n_v$, ${\mathbf{n}}^t=\left(n_1^t,\cdots ,n_v^t,\cdots ,n_V^t\right)$表示all $V$ slices 的流量需求，$n_v^t$其实就是切片v上车辆的个数；
• 将切片提供的QoS$R_v$ 定义为车辆传输速率的最小阈值； $r_u$是车辆$u$向BS的传输速率。
  $r_u\ge R_v,\forall u\in {\mathcal{U}}_v,v\in \mathcal{V}$
• 由于流量负载在不同时间发生变化的不确定性因此进行资源预留：$W=W^s+{\sum }_{v\in \mathcal{V}}{W}_v^d$；

---

问题推导

• 状态${\mathcal{U}}_v^t$下，分配给$v$切片的资源为$h_v^t$;
• ${\tilde{h}}_v^t$：满足车辆QoS所需频谱资源的最小值；
  $h_v^t$：在${\mathcal{U}}_v^t$下，为片$v$分配的频谱资源；
  $h_v^t\ge {\tilde{h}}_v^t={\sum }_{u\in {\mathcal{U}}_v^t}\frac{R_v}{{\log }_2\left(1+SIN{R}_{ub}\right)},v\in \mathcal{V}$，${}_{ub}$: 车辆u----基站b
• ${\omega }_u=\frac{h_v^t}{n_v^t}$ 车辆$u$可得频谱资源 （资源/车辆数，平均化）；
• 车辆$u$传输速率为$r_u^t={\omega }_u{\log }_2\left(1+SIN{R}_{ub}\right)$, 根据t + 1 slot 的负载，获取车辆的虚拟速率${\hat{r}}_{u^{\prime }}^{t+1}，u^{\prime }\in {\mathcal{U}}_v^{t+1}$。用t slot 的需求$h_v^t$而不是基于t+1时刻的$h_v^{t+1}$ 来计算${\hat{r}}_{u^{\prime }}^{t+1}$。i.e., ${\hat{\omega }}_{u^{\prime }}=\frac{h_v^t}{n_v^{t+1}}$ .
  这一定义背后的主要思想是判断最后分配的频谱资源是否能使车辆的通信速率稳定(t 与 t+1)。
  $\frac{{\sum }_{u^{\prime }\in {\mathcal{U}}_v^{t+1}}{\hat{r}}_{u^{\prime }}^{t+1}}{n_v^{t+1}}\ge R_v$：切片v中的车辆的在t+1时的速率和/切片v在t+1时的流量需求 大于车辆传输速率的最小阈值；
• 片资源分配推导为：
  $\begin{array}{rl}p(1):\min & \sum _{t\in \mathcal{T}}\sum _{v\in \mathcal{V}}{h}_v^t\\ \text{ s.t. }& C1:\sum _{v\in \mathcal{V}}{h}_v^t\le W,\forall t\in \mathcal{T}\\ & C2:r_u\ge R_v,\forall u\in {\mathcal{U}}_v,v\in \mathcal{V}\\ & C3:\frac{{\sum }_{u^{\prime }\in {\mathcal{U}}_v^{t+1}}{\hat{r}}_{u^{\prime }}^{t+1}}{n_v^{t+1}}\ge R_v,\forall v\in \mathcal{V}\end{array}$
  C1：所有V个切片所占用的频谱资源小于等于总的频谱资源（占用的又叫做专有资源）
  C2：车辆u的传输速率需要大于最低阈值$R_v$
  C3：每个切片v上车辆们虚拟的传输速率/车辆的数量，大于一个阈值。（也是平均化）

长时尺度上资源分配，短时尺度上资源调度。长时denoted by ATI，短时denoted by STI。
每个ATI开始时，系统根据之前的服务请求为每个片分配专用资源$W_v^{k,d}$。
每个STI的开始，基于即时系统状态$U_v,v\in V$，进行微调以满足C2和C3。

-对于长时间尺度的资源分配问题，目标是最小化预测值和实际值之间的误差：
$p(2):{\mathrm{argmin}}_{{\tilde{W}}_v^{k,d}}\left|{\tilde{W}}_v^{k,d}-W_v^{k,d}\right|$
其中，$W_v^{k,d}$ 由第 k 个 ATI 内切片 v 的平均服务请求数和平均信道状态信息 (CSI)计算得出。 根据预测值${\tilde{W}}_v^{k,d}$，系统进行长时间尺度的专用资源分配。 然而，这些固定资源无法在如此长的时间范围内动态满足车辆的实时性要求。 因此，我们将考虑在 ATI 期间每个 STI 的实时动态流量需求的影响。

-对于短时尺度资源调度问题，每个 STI 的系统状态可能不同，包括服务请求的数量和相应车辆的 CSI。$W_v^{k,t}$表示第 k 个 ATI 内切片 v 的调度资源。$W_v^{k,t}>0$意味着分片v上的专用资源不能满足车辆们在当前STI开始时的需求，需要从BS的共享资源池中调度额外的资源。
每个STI的在线资源调度问题可以表示为：
$\begin{array}{rl}p(3):\min & \sum _{v\in \mathcal{V}}{W}_v^{k,t}\\ \text{ s.t. }& C1-C3\\ & C4:h_v^t={\tilde{W}}_v^{k,d}+W_v^{k,t}.\end{array}$
C4：切片v在t slot上的频谱资源=其上车辆dedicated资源+shared资源
约束 C3 的存在使问题复杂化。 在资源调度中，不仅需要考虑当前的服务需求，还需要考虑下一个STI由于车辆的移动而产生的服务请求和信道变化。 为了解决这个问题，用强化学习资源调度。

双时间尺度资源分配方案

要获得量化的专用资源，关键问题是如何准确预测未来较长时间尺度的平均资源需求。------ LSTM

• Input 历史的平均资源需求$\left\{W_v^{k-m,d},W_v^{k-m+1,d},\cdots ,W_v^{k-1,d}\right\}$，output 预测的 ${\tilde{W}}_v^{k,d}$，为下一阶段进行资源调度提供了基线。
• 在为每个切片分配专用资源后，需要使用在线资源调度算法来校准所分配的资源，也就是短时的资源调度算法，采用DDPG，发生在STI上。
• 状态：$\left({\tilde{W}}_1^{k,d},{\tilde{W}}_2^{k,d},\cdots ,{\tilde{W}}_V^{k,d},{\tilde{h}}_1^t,{\tilde{h}}_2^t,\cdots ,{\tilde{h}}_V^t\right)$ 专用资源和资源需求阈值
• 动作： $\left(W_1^{k,t},W_2^{k,t},\cdots ,W_V^{k,t}\right)$ 每个切片调度资源；
• 奖励：$r_t={\sum }_{v\in \mathcal{V}}\varphi \left(h_v^t\right)+{\sum }_{v\in \mathcal{V}}{\beta }_v\cdot I\left(h_v^t\right)+\delta \left({\mathbf{h}}^t\right)$
  where
  $$\begin{array}{c}\varphi \left(h_v^t\right)=\{\begin{array}{lc}\ln \left(\frac{{\tilde{h}}_v^t}{h_v^t}\right),& \text{ if }{h}_v^t\ge {\tilde{h}}_v^t\\ \ln \left(\frac{h_v^t}{{\tilde{h}}_v^t}\right),& \text{ if }{h}_v^t<{\tilde{h}}_v^t\end{array}\\ \delta \left({\mathbf{h}}^{\mathbf{t}}\right)=\{\begin{array}{ll}-\infty ,& \text{ if }{\sum }_{v\in \mathcal{V}}{h}_v^t>W\\ 0,& \text{ otherwise }\end{array}\end{array}$$
  $\varphi \left(h_v^t\right)$ ：无论是否达到满足车辆QoS所需资源的最小值，奖励都是负数。除非相等，则为0，使得代理倾向于分配资源来精确地满足切片的需求。
  $I(h_v^t)$是指示因子函数，C3（速率大约最低速率）满足则为1，不满足为0； β = { β 1 , β 2 , ⋯   , β V } \boldsymbol{\beta}=\left\{\beta_1, \beta_2, \cdots, \beta_V\right\} β={β1​,β2​,⋯,βV​}为各切片的权重，通过调节β可保证不同片的稳定性能要求。

实验分析

所提出的LSTM-DDPG总是优于其他几种对比算法，因为它包含了一个对平均资源需求的预测阶段，这使得代理在长时间和短时间尺度内都能更好地适应RB需求的变化。