《DRL-based Beam Allocation in Relay-aided Multi-user MmWave Vehicular Networks》阅读笔记

最近在看新论文，然后在顶会2022infocom上找到了一篇比较感兴趣的，《DRL-based Beam Allocation in Relay-aided Multi-user MmWave Vehicular Networks》，这篇博客主要是记录一些阅读笔记

这篇论文是CCF认定的计算机网络顶会INFOCOM2022年的一篇论文

摘要

毫米波（mmWave）通信可以在车载网络中实现高传输率。然而，车辆的严重阻塞效应和高机动性会严重影响车辆的下行服务。为保证通信质量和稳定性，本文从人工智能驱动模型的角度，共同探讨毫米波车载网络中的波束分配和中继选择。我们利用排队理论来模拟车辆的动态分布，并首先提出了一种基于深度强化学习（DRL）的联合波束分配和中继选择方案，以减轻阻塞效应并优化总通信容量。当预期的下行链路受阻时，毫米波基站（mmBS）可以选择合适的空闲车辆作为中继节点进行服务。此外，我们在设计方案时设置了容量阈值，以保证每辆目标车辆都能获得理想的服务。通过适当的训练，mmBS可以根据车辆的位置，智能地为不断更新的车辆网络找到最优的解决方案。仿真结果证明了该方案的有效性，可以抑制随机阻塞造成的传输中断，提高车载网络的总通信容量。

背景问题

背景：车联网中使用毫米波（mmWare）通信传输基站到车辆的下行链路

存在问题：可能有建筑等物的遮挡导致传输效果（信道通量<-功率<-衰落<-遮挡和路径损耗）不理想

解决方法/创新点：使用中继方案

关键字：毫米波车载网络（车联网）、人工智能（深度强化学习）、波束分配、中继选择（资源分配）

方案：一种基于深度强化学习(DRL)的联合波束分配和中继选择方案，旨在智能的抵抗遮挡效应，并确保高动态通信场景中的服务质量，采用的是目标车辆的总通信容量和平均连接概率来分析系统性能。

研究综述

频率越高越不容易绕过障碍物：
当电磁频率越高，频率与波长成反比关系，则相应的波长就越短，波峰与波谷的距离就越短，介质某点附近的
电场强度就越大，产生的电流也就越大，在介质中损耗的能量就越多；在不均匀的介质中传播，相当于电磁波在不同的介质中反射、折射、衍射，传播路径和方向会变得复杂，产生的损耗也会越多。
5G：
3400-3500MHz
3500-3600MHZ
4800-4900MHz

主要贡献：
1） 针对毫米波车载网络中的多用户服务过程，我们提出了一种联合波束分配和中继选择方案，旨在最大化总通信容量。
2） 我们利用排队理论来模拟车辆的动态过程，并解决道路上的永久性和随机性障碍，以接近实际环境。
3） 我们在基于深度强化学习（DRL）的方案的奖励设计中引入了容量阈值限制，这可以确保每个目标车辆的服务质量，避免不合理的优化。

系统模型

实验结果

实验图1：Communication performance under different transmission schemes

X轴：随机生成的15种交通模式
Y轴：传输总容量

对比含义：
最大容量（红色）：每个周期遍历所有可用波束和中继车辆选择最大最优的方法（上帝视角性能上限）
基于深度强化学习（蓝色）：利用DQN和经验回放训练mmBS，以选择波束和中继车辆
直接连接（黄色）：mmBS基于规则“先请求先服务”根据目标车辆的位置分配特定波束
随机（绿色）：在每个周期中从波束和中继车辆的所有可能组合中随机选择一个决策

小图对比了在基于深度强化学习和最大容量方法下模拟的4辆车分别的容量大小

实验图2：Average connection probability PC under different capacity threshold

X轴：容量阈值𝛾
Y轴：平均连接概率

信道容量达不到最低的容量阈值限制，则连接不成功

实验图3：Effects of randomly blocking level on communication performance

X轴：随机生成的5种交通模式（临时阻塞的不同）
Y轴：传输总容量
ABC：渗透系数（永久阻塞） A(0.1-0.4) B(0.4-0.7) C(0.7-1)

临时阻塞和永久阻塞都会影响信道增益/信道衰落

临时阻塞对直接连接性能影响较大，尤其是在A级，性能不稳定
不论处于哪种临时阻塞和永久阻塞的情况下，基于深度强化学习的方法性能都很好，很接近性能上限

---

---

对于什么是毫米波以及它和5G/6G的关系，这里有一篇很不错的知乎文