干扰管理学习日志13-------强化学习_功率控制_吞吐量

---

本文是对论文《Distributed Q-Learning for Aggregated Interference Control in Cognitive Radio Networks》的分析，若需下载原文请依据前方标题搜索，第一作者为Ana Galindo-Serrano and Lorenza Giupponi

一、文章概述

本篇文章中，作者提出了一种基于强化学习的功率控制方案，在超密集蜂窝网络环境下，自适应的调整基站的载波功率值，达到更好地系统吞吐量目的。此外，作者还提出了一种使用深度神经网络拟合强化Q学习的方法，降低了原方案的计算复杂性，最终达到节能的效果。

二、系统环境

系统环境如上图所示，是一个基站密集部署的蜂窝网络。用户从所连接基站获得信号，同时受到周围其他基站的干扰。

三、算法架构

1.强化学习

(1).输入状态

输入状态包含三个参量，分别是从用户侧获得的反馈SINR，基站覆盖范围内的用户密度以及个基站状态信息。

(2).输出动作

输出动作为各个基站的功率等级(离散化后的功率等级)。

(3).环境反馈

环境反馈的由三个部分组成：系统吞吐量、系统能耗以及小区间干扰。

2.深度学习

(1).网络输入

以整个基站的当前状态S作为输入

(2).网络输出

以基站功率调整方法作为输出

四、性能表征

1.吞吐量

2.能耗