【V2-笔记-无线接入】随机优化与加强学习

IEEE Internet of Things Journal

研究内容

为了实践MEC，3GPP推出了一种称为局域数据网络（LADN： local area data network）的新范例的规范性工作。 LADNs在下行链路无线接入中面临的挑战：1 前向回传链路的资源匮乏2不同能力的车辆的服务质量（QoS）的区分。
首先，为解决资源匮乏问题，通过制定Lyapunov函数，进行随机优化最大限度地提高利用率前向回传的资源同时稳定每个车辆的队列（因此有时延）。然后，提出基于MAB（multi-armed bandit）的加强学习算法以实现基于反馈和无反馈传输的最佳协调，从而在能量效率，等待时间和可靠性之间进行权衡。以上的设计满足LADN部署的迫切需求。

建立模型

考虑用于LADN的下行链路无线接入的设计。
LADN用BSs表示：$A_t^f$。indexed by：$n=1,\dots ，\Vert A_t^f\Vert$

V2X应用与两类信息相关：本地信息与全局信息。
$\mathcal{K}$:存储在LDNA中，V2X应用相关的全部信息的集
${\mathcal{K}}_n^l\in \mathcal{K}$:本地信息的集
${\mathcal{K}}_n^g\in \mathcal{K}$:全局信息的集

A.Popularity of Information

将在$\mathcal{K}$中的信息按照受欢迎程度排序：
$k=1,\cdot \cdot \cdot ,||\mathcal{K}||$
可能性的分布the probability that a vehicle requests for the kth popular information follows the distribution：

$H_{||\mathcal{K}||}={\sum }_{k=1}^{||\mathcal{K}||}\frac{1}{k^{\xi }},\xi \in [0,\infty )$是偏斜因素
the set of information cached in the nth BS is ${\mathcal{K}}_n^l\cup {\mathcal{K}}_n^g$
the set of information stored in the cloud server at time t:${\mathcal{K}}_t^b\in \mathcal{K}$
The set of information that a vehicle is able to access

B. Queueing Model of Task Processing in a Vehicle

车辆获得所需信息的总体延迟（如处理任务）取决于两个因素：

1. 信息在LADN还是在云
2. 从BS发送到车辆的信息是否使用有反馈的传输

（第一个因素可以在第2层通过优化前传资源利用来解决，第二个因素可以在第1层通过优化传输方案处理）

本节讨论第一种。

---

$U_k（t）$表示车辆在时间t时需要第k个最受欢迎信息的任务队列的长度， The
dynamics of U k (t) can be expressed by

$a_k(t)$ is the number of arrived task requiring the kth most popular information
$u_k(t)$ is the number of proceed tasks requiring the kth most popular information

${\varpi }_l$ and ${\varpi }_g$ are the processing rates if the kth most popular information is obtained from BSs in a LADN and from the cloud server, respectively.

C. Downlink Information Transmissions

对于基于反馈的传输，如果车辆不能成功解码下载的数据块，则它应该通过回复NACK消息通知发射机BS重传数据块。实际中，有规定重传上限$R$，当一个数据块在$R$次重传后，车辆仍然不能成功解码该数据块，数据块就会被丢弃，即丢弃事件。

A BS may perform each retransmission using the same transmission power :
$\mathbb{E}(|s_r{|}^2)=P$, where $s_r$ is the transmitted data block of the rth retransmission;

• 对于发送：
  ${\rho }_s$是发送反馈ACK/NACK的能耗比率，$(0\le {\rho }_s\le 1)$
  For the feedback based transmissions：
  $$E_s=E_s^d+{\rho }_s{E}_s^d$$
  $E_s^d$:在基站发送一个数据块的能耗
  ${\rho }_s{E}_s^d$:在车辆发送\ACK/NACK信息的能耗
  故，对于无反馈情况： $$E_s=E_s^d$$

• 对于接收：
  ${\rho }_r$是接收反馈ACK/NACK的能耗比率，$(0\le {\rho }_r\le 1)$
  For the feedback based transmissions：
  $$E_r=E_r^d+{\rho }_r{E}_r^d$$
  $E_r^d$:在车辆端接收一个数据块的能耗
  ${\rho }_r{E}_r^d$:在基站接收ACK/NACK信息的能耗
  故，对于无反馈情况： $$E_r=E_r^d$$

用于避免资源短缺的随机优化

A. Stochastic Optimization for Resource Utilization

在LADN的前传链路上解决资源饥饿的随机优化可以表述如下

---

• 定义1：在t时间，从云服务器下载的信息总量：
  
  where $1_{bk}$ is an indicator
  

• 优化1：
  在t时间，一辆汽车连接到的BS的数量
  
  $\vartheta$ denote the maximum amount of information permitted to be downloaded from the cloud server
  前向回路资源使用的优化：
  (6)的目的是最小化受两个约束限制下，连接到的BS的时间平均数：1.time-averaged amount of information downloaded from the cloud server does not exceed $\vartheta$ 2.stabilizes the task queue in a vehicle
  引入虚拟队列X(t)以解决这个随机优化问题：
  
  要稳定此虚拟队列，必要和充分的条件是： $\overline{n_b}<\vartheta$

• 优化2
  
  V>0是使用BS的加权成本参数， a large V implies a large cost to connect to a BS.

---

• 定义2： 令g(I)表示(8)的增量，被连接到的基站缓存信息$I\in \mathcal{I}$
  

• 论点1 ：Consider the case of two BSs (say i and j) that cache information $I_i$ and $I_j$ , respectively.If a vehicle connects to both BSs sequentially, then the order of selecting i and j does not affect the performance
  
  where $I_i\setminus I_j$ denotes subtracting $I_j$ from the set of $I_i$ .

---

• 定理1
  至少使用贪婪方法时，（8）是易处理的。在贪婪方法中，车辆首先连接到BS可以提供（8）的最大的提升，然后连接到的BS可以提供（8）的第二大的提升，等等，直到目标无法进一步改善。
  

---

B. Performance Analysis

采用Lyapunov drift function 可以分析上面提到的方法的性能。
优化1的二次Lyapunov函数：

为了得到动态的L(t)，Lyapunov漂移函数可以表示为

为了稳定队列，Lyapunov漂移函数的预计值为负，以减少总队列长度.为最小化车辆连接到的BS数，可以引入drift-plus-penalty function：
所以，drift-plus-penalty function得到BS的使用数与时延表现之间的权衡。

---

• 定理2：
  使用算法1时，优化1的性能受限于：
  

用于下行信息传输的基于加强学习的MAB算法

A. Capacities of Feedback based and Feedbackless Transmissions基于反馈和无反馈传输的能力

重传方法For the feedback based transmissions, two types of retransmission schemes have been widely deployed in mobile networks: incremental redundancy (IR) based HARQ and chase combining (CC) based HARQ。结论：基于IR的HARQ能够有效地提高解码性能

For the IR based HARQ, each retransmitted data block are encoded into M coded
bits， coding rate is ${\delta }^f=D/RM$

• 结论1 The capacity of the IR based HARQ with R retransmissions is
  
• 结论2 The capacity of performing R transmission repetitions in one-shot is

B. Outage Probability and Drop Probability中断概率和丢弃概率

中断事件发生于不满足信道容量 在接收器侧（即，车辆侧），当信道容量小于要在数据块中发送的D信息时发生中断事件。

• For the feedback based transmissions, the outage probability is defined by
  
• for the feedbackless transmissions, the outage probability is the same。

---

丢弃事件发生于不能正确解码 a drop event occurs when a receiver cannot correctly decode D information bits when all R repetitions/retransmissions（重复/重发） have been received.

• For the feedbackless transmissions, it is clear that the drop probability $P_{drop}^l(R)$ is the same as the outage probability.
• 结论3 For the feedback based transmissions
  The drop probability of the IR based HARQ with R retransmissions:
  
  $q_s(r)$: the probability that the data block is successfully decoded at the rth retransmission
  $\varrho$: the probability that a feedback message is successful received at the transmitter side.

C. Transmission Latency

任务到达遵从泊松分布。在 Pollaczek-Khinchin formula (P-K formula) 的推动下，可以分析传输时延。 ${\lambda }_k$:mean arrival
The transmission latency can thus be approximated by:

• 结论4 The transmission latency using the feedbackless transmissions with r repetitions is given by
  
• 结论5 The transmission latency using the IR based HARQ with R retransmissions is given by
  
  

D. Reinforcement Learning based MAB Algorithm

基于反馈的传输增加了时延和能耗，接收到反馈信息会停止重传，提高频谱效率；基于无反馈的传输少时延和能耗，传输具有大量重复的数据块以增强可靠性，频谱效率低；因此，基于反馈和无反馈的传输之间存在协调，并且BS应该决定采用无反馈传输或基于反馈的传输。

H. Robin, “Some aspects of the sequential design of experiments,”
in Bulletin of the American Mathematical Society, vol. 55, 1952, pp.
527–535.
[36] R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduc-
tion. Cambridge, Massachusetts: The MIT Press, 1998.

MAB的最初的形成是为了找到最佳策略，以最大化来自多个老虎机的整体奖励。
BS的目标是,当每个时间t作出的决策${\psi }_t\in \Psi$时，最小化结果代价${\sigma }^{{\psi }_t}$

• 优化3
  最小化长期开销预计的MAB被制定为：
  
  为得到 optimum tradeoff between reliability, latency and energy efficiency, 开销方程为：
  
  
  
  $\eta$和$\beta$代表不同能力的车辆所需的不同QoS要求。
  e.g. $\eta (or\beta )\uparrow$时延（能耗）性能要求高

BS的最优决策的停留时间与信道环境是否多变有关； in the non-stationary condition in which channel quality may severely change over time, when a BS finds the optimum decision, this decision could only be optimum for a short period of time.
BS不必改变决策的时间段被称为决策时期，并且在随后的决策时期，BS需要评估所有可能决策的成本。

在时间t做出决策的折扣成本：
在非静态条件下，应用【36】的结论来更新$Q^{{\psi }_t}$，使$Q^{{\psi }_t}$最小。

由于在利用已经找到的决策或探索可能提供更好性能的其他决策之间存在平衡，我们提出了基于强化学习的MAP算法，即算法2

BS决策：

E. Further Discussion

因为无反馈传输已经成为支持3GPP NR中的URLLC的强制功能，3GPP NR已经提供了可行的第1层过程（ Layer 1 procedures）。一个可能的方法是：A possible scheme is to allow asynchronous feedback reply, in which a vehicle can reply feedback message at any time on the reserved resources.例如：在重传之前或之后， 只要前向数据块传输被成功解码，车辆就回答ACK。或者，当BS请求车辆执行此操作时，车辆应答ACK / NACK。请注意，这种反馈回复仅用于信道估计，使得BS能够进一步改善下行链路性能。

性能评估

A. Resource Utilization Within a LADN and on the Backhaul Link

global skew factors $\xi$
local cache (with a storage capacity $Z_l$ data blocks) and global cache (with a storage capacity $Z_g$ data blocks) to store location-based and global-wise information, respectively

B. Transmission Performance