强化学习论文分析2-------无小区大规模MIMO的下行功率控制

---

本文是对论文《Downlink Power Control for Cell-Free Massive MIMO
With Deep Reinforcement Learning》的分析，若需下载原文请依据前方标题搜索，第一作者为北京邮电大学的罗丽瑞教授。

一、研究内容概述

在本文中，作者使用基于强化学习的Actor-Critic算法对无小区大规模多输入输出的功率分配问题进行处理，实现了相较传统凸优化算法三个数量级的速率提升，也比传统深度学习算法有着更好地性能。

二、系统目标和约束

1.系统目标

对于三个不同的问题:最大和、最大最小公平性、最大积问题拓展如下:

其中传输速率由下方公式给出:

SINR(信号与干扰加噪声比)的公式如下

2.约束条件

约束条件由两项乘积构成，这两项的定义如下

三、Actor-Critic算法设计

具体介绍见《莫烦pyhton》强化学习系列课程，本文作者介绍了Actor-Critic算法设计的基本概念，但并没有在文章中给出通信模型到Actor-Critic的映射方法。

四、算法性能评估

图2表明;在最大最小公平性问题中，虽然不如等功率控制算法，但DDPG算法可以达到与传统凸优化算法相同的效果。


图3、图4表明:在最大和和最大积功率控制问题中，DDPG算法表现出了优于等功率控制和传统DL的效果。

图5表明，DDPG算法的速度相较于传统凸优化算法(CVX)有着大约两个数量级的提升。