干扰管理学习日志11-------异构网络_负载均衡_强化学习

---

本文是对论文《Dynamic Inter-Cell Interference Coordination in HetNets: A Reinforcement Learning Approach》的分析，若需下载原文请依据前方标题搜索，第一作者为Meryem Simseki。

一、文章概述

本篇文章的背景是异构网络下的小区接入问题，作者提出一种基于强化学习的小区接入方法,即微通过强化学习去选择载波频段、参考信号偏移量以及基站功率等级，来达到更优的负载均衡，提升信道容量。

二、系统环境

1.物理环境

整个优化任务处于上图所示的系统环境中，一个宏基站对应着多个微基站构成异构网络，强化学习的目标是合理的配置微基站的参考信号偏移量和发射功率等级，使得合适的UE连接到微基站中，达到负载均衡的效果，最终提升整个网络的吞吐量。

2.网络参数配置

三、算法详述–强化学习

1.输入状态

输入状态包含宏基站和微基站的瞬时SINR值，其定义如下(目标SINR值为20db)

2.输出动作

输出动作包含三个参量:载波频段的选择、参考信号偏置量与基站发射功率等级。

3.环境反馈

系统目标是最小化当前SINR与目标SINR的差值，因此环境反馈定义如上图所示。

4.价值函数更新方法

价值函数如上定义，系统趋向于缩小表中价值Q。

四、性能表征

1.CDF图

2.卸载率与吞吐量