强化学习论文分析6---多基站_强化学习_流量调节_干扰协调

---

本文是对论文《Dynamic Resource Allocation in TDD-Based Heterogeneous Cloud Radio Access Networks》的分析，第一作者为北京邮电大学Zhi Yu

一、文章概述

在异构云无线接入网(H-CRAN)中，对于基站不同的负载量，3GPP组织提出了7种帧结构，以达到动态传输流量控制的目的。而由于不同帧结构可能引起小区间的跨子帧干扰，运营商往往对于所有采取都采用相同的帧结构。对于上述问题，在本文中作者设计了一种基于强化学习的高效、低复杂度方案。该方案可以同时兼顾流量调节和干扰协调，达到使用合适帧结构、提高信道容量的目的。

二、背景分析

1.ICI的分类

(1)OCIC:ordinary inter-cell interference(常见小区干扰)

常见小区干扰如上图所示，当用户终端接收到不同基站发送的信号时，干扰产生。
(2)CICI:cross-subframe inter-cell interference(跨子帧小区干扰)

3GPP组织提供了七种不同的帧结构，如下图所示

但由于在实际应用时，小区间采用不同的帧结构会产生CICI(跨子帧小区间干扰)的问题，运营商在实际部署时往往采用相同的帧结构，这导致了不必要的传输损耗。

三、理论模型

系统所优化的目标是信道容量的最大化，其中分子是香农公式，分母是传输中选择的子帧结构的大小(3GPP组织提出的七种之一，帧的长度越短，相同信道容量下传输信息越多)。

四、算法设计

1.系统模型

1.RRH的聚类

若给每个RRH都配置各不相同的帧结构，显然会使得环境过于复杂，相互之间产生不必要的干扰。作者首先设计了一种RRH的聚类算法，将所有的RRH分成L簇，在簇内使用相同的帧结构(即簇内不会产生跨子帧小区干扰)。

(1)随机簇头

在初始化阶段，每个 RRH 将其距离信息和天线配置信息报告给 BBU 池。BBU池选出随机簇头。

(2)条件1:距离阈值

以簇头为中心，簇内RRH与簇头的距离要小于设定值θ。

(3)条件2:天线数

为了减轻系统中的常见小区干扰(OICI)，RRH采用迫零预编码技术，ZF算法要求 RRH 的天线数应大于等于 MU 的天线数。

(4)伪代码

2.强化学习

(1)链路适配度

(2)输入状态

与当前链路适配度、上下行链路信道容量相关的量。

(3)输出动作

包括基站的功率等级和子帧选择(七选一)。

(4)环境反馈

为全局平均链路适配度、上下行链路信道容量。

五、性能表征

1.匹配性

2.信道容量(传输速率)