基于深度强化学习的移动通信网载波调整算法

【摘  要】为解决如何准确、及时地对移动通信网络扇区进行载波调整的问题，提出了一种基于深度强化学习的扇区扩（减）容算法。采用Model-based强化学习方法，建立了容量指标概率动态模型的多模型组合，利用真实环境的历史数据对模型进行训练，并在此基础上构建了虚拟环境。然后用神经网络构建智能体，并使之与虚拟环境互动，采用短展开技术，产生虚拟样本。最后利用虚拟样本，采用DQN算法对智能体进行策略优化，使其给出扇区扩（减）容操作的建议。实验结果表明，训练后的智能体给出的载波调整建议，达到了较高的正确率。

【关键词】移动通信网络；载波调整；深度强化学习；多模型组合

0   引言

随着移动通信技术的发展，移动通信网络的流量、用户数呈现快速增长。而由于城市环境多样、潮汐效应等原因，移动通信网很容易出现局部区域流量、用户数过高或过低的情况，造成网络拥塞或载波资源闲置。如何及时缓解局部拥塞，同时充分利用每个载波资源，成为移动通信网络运营的关键问题之一。

如能比较准确地预测扇区的流量或用户数，则可在预测值达到扩（减）容门限时，对扇区进行扩（减）容操作，进而解决上述问题。因此&#