【时空流量预测笔记1】基于相关卷积LSTM和自注意网络的蜂窝网络流量预测

海拉鲁遗民

已于 2024-07-11 09:33:45 修改

阅读量1.3k

点赞数 22

分类专栏：时空流量预测论文笔记文章标签：深度学习

于 2024-01-25 15:20:58 首次发布

本文链接：https://blog.csdn.net/m0_58916821/article/details/135620040

版权

时空流量预测论文笔记专栏收录该内容

5 篇文章 1 订阅

订阅专栏

基于相关卷积LSTM和自注意网络的蜂窝网络流量预测

Cellular Network Traffic Prediction Based on Correlation ConvLSTM and Self-Attention Network

【摘要】预测网络流量未来动态性能，提出了一种基于相关性的ConvLSTM和基于自注意的网络（CCSANet）来准确预测复杂的蜂窝网络流量。

1.Introduction

network traffic prediction (NTP)为通信网络管理和优化提供了决策依据，预测网络流量的未来动态性对于支持5G智能系统和自动化网络管理至关重要。

在最近的工作中，NTP被作为时间序列分析问题（包括经典预测方法和神经网络预测方法）。

经典预测方法多依赖于历史流量平均值，无法准确预测复杂的网络流量。神经网络方法则能提取复杂特征。通信流量（communication traffic）的变化具有时间空间的自相关性（autocorrelation）。但LSTM方法更多关注时间序列特征，对空间特征不够重视。（卷积网络可用来提取空间特征）

2.Data Observation and Analysis

A.城市蜂窝流量数据集

采用数据集：Telecom Italia Big Data Challenge

包含在意大利米兰记录的三个真实网络流量数据（短信、呼叫和互联网），为期两个月。将米兰的城市分为H×W个子区域单元，H和W分别表示单元的行数和列数，数据集覆盖0.0552km²，共划分为10000个单元的网格（H=W=100）每个单元的值表示该区域中流量的统计值。

B.数据分析

1）时域

（某特定城市单元中流量在一段时间内的变化情况）

三者动态变化趋势相似，且有周期性，尤其是周末的流量低于工作日。

2）空间域

（某时刻下一定区域内的流量值）

直观上：整个城市的交通分布不均衡，城市中心的交通比郊区更密集。

但预测模型应该能够捕捉到不同区域流量之间的空间相关性。

→使用Pearson相关系数评估目标单元 $x^{(i, j)}$ 和其相邻单元的相关性。

Pearson相关系数-皮尔逊相关系数

两个变量之间的协方差和标准差之积的商（或者说，归一化的协方差）

协方差用于刻画两个随机变量是否有相关性
相关系数（correlation coefficient）用于刻画两个随机变量相关性的强弱

（这里方差和标准差分母为n-1，因为此处为样本标准差，总体标准差分母为n。）

参考皮尔逊相关系数（Pearson Correlation Coefficient）

在Fig.2（b），我们选择坐标为（4,4）的单元作为目标单元，并计算其与其他单元的Pearson相关性。可以看出单元之间的相关性与距离有关；同时，（5,3）和（5,5）与目标单元距离相同但相关性相差较大，说明相关性还与其他因素有关。

因此，我们需要研究新的方法来捕捉蜂窝网络流量的时空潜在相关性。

3.The Proposed Prediction Model

CCSANet由四部分组成： Corr-ConvLSTM，Self-Attention Module，

Time Embedding，Fusion Output Module,

$X_{c,t}$ 表示时间 t 下的网络流量，其中 c $\in$ {sms, call, internet}。

A. Corr-ConvLSTM

1.通过卷积运算提取输入Xc,t和Xc,t-1的多通道特征ft,k和ft−1,k，其中*表示卷积算子，k是通道数，k∈{1,2,3}。

2.相关函数（correlation function，CF）用于沿着信道维度计算每个信道的两个连续蜂窝流量特征的相关性Ct,k，CF在本文中是点积算子。k个信道的相关性被级联以获得相关性图Ct。

3.将相关图Ct传递到卷积层和全局平均池化层（GAPL）。最后，我们获得了因子ut，它测量两个连续的蜂窝流量特征之间的动态变化。

W和b是权重和偏移， $C_{t}^{o}$ $\in$ $R^{H\times W}$

我们使用ut来确定两个连续的蜂窝流量特征之间的相关性信息，并将其引入到ConvLSTM中。然后Corr-ConvLSTM通过以下公式对输入Xc,t进行计算，最后得到输出 $O_{corr}$ $\in$ $R^{p\times H\times W}$ ：

长短期记忆网络LSTM

输入和隐状态被具有sigmoid和tanh激活函数的全连接层处理，遗忘门，输入门和输出门的值都在（0,1）内。

B.Self-Attention Module

采用自注意模块来提取外部因素的特征表示，其中 $e\in$ {BSs,POIs,Socials} （base stations, point of informations, Socials，这三者是【相关工作（3）】中涉及的外部因素）

外部输入Xe被映射到不同的特征空间中作为查询、键、值。卷积层用于提取特征，查询、键、值的维度与信道数相关，dk、dv是通道数。

每对点的相似性得分通过应用矩阵乘法计算为：（该部分用于定义计算，用于引出下文第i个点和第j个点之间的相似性）

第i个点和第j个点之间的相似性可以被索引为ei,j ，其中Xe,i和Xe,j是形状为dk×1的特征向量。将相似度分数与列一起标准化：

softmax函数

能够将未规范化的预测变换为非负数并且总和为1。首先对未规范化的预测求幂，从而确保输出非负。求幂后的结果除以幂的总和，保证最终输出的概率总和为1。

第i个位置的聚合特征是用所有位置的加权和来计算的：

括号中是权重乘以值的第j列。We和be是全连接层需要学习的参数。

这里有一点疑问，输出的维度在reshape前不应该是 $p\times N$ 吗？激活函数应该不会改变数据维度，怎么会是 $pN\times 1$ 呢？

解决：p×N的输入经过pN×p×N的全连接层，输出为pN×1.

由于N=H×W，故最终可以reshape为输出Oe。

C.Time Embedding

共提取了四种数据：is_weekday(1/0)，is_weekend(1/0)，day_of_week(0-6)，hour_of_day(0-23)并将其视为特征。33维特征向量Xd输入到两层完全连接层，输出向量为 $v_{d}\in R^{pHW\times 1}$

为什么是33维呢？其中，is_weekday(1/0)和is_weekend(1/0)只需要其一即可，因为二者是对立事件，为2维；day_of_week(0-6)，hour_of_day(0-23)分别为7维和24维，四种特征共33维。

输出向量reshape为输出 $O_{d}\in R^{p\times H\times W}$ ，与融合输出模块的输入结果合并。

D.Fusion Output Module

不同单元的流量不仅与连续单元的相关性有关，还与周期有关。

为了捕捉这种关系，我们首先融合相关性和周期性特征，以获得融合的特征Oall。

然后我们通过多个DenseBlock（Conv+BN+ReLU+DeformConv）提取融合的特征

最后，通过sigmoid激活函数获得预测的值。

4.Experiments

A.Experimental Process and Parameter Settings

预处理的方法。训练集和测试集的划分。为了避免过拟合，划分出了测试集。优化器的选择，小批量。分段衰减学习率。不同的激活函数。

与其他方法的对比和评价指标的选择。

B.Experiment Analysis

与其他baseline models作对比：

ARIMA在三个流量数据集上具有最高的MAE和RMSE，因为它只考虑数据的历史时间特征，而没有考虑其他依赖关系。LSTM的性能优于统计方法，但不如其他深度学习方法。STDenseNet忽略了外部因素的影响，而HSTNet只考虑了时间属性，忽略了其他外部因素，如BS信息和POI分布。TWACNet采用了基于卷积的网络，但其性能低于基于ConvLSTM的方法。STCNet使用基于ConvLSTM的网络，但没有结合自注意和相关层来增强特征提取。

所有上述工作主要依赖于网络（例如CNN、ConvLSTM和SA）来提取隐藏信息，这可能不会对连续的时空特征进行建模。与baseline models相比，CCSANet实现了最佳性能。一方面，CCSANet利用ConvLSTM中的相关层来提高其提取连续时空特征的能力。另一方面，CCSANet结合了自注意机制，以聚合提取外部因素与网络流量特征之间相关性的能力。

为了进一步了解NTP的有效性，绘制了随机选择的NTP结果的互联网快照。与baseline models方法相比，CCSANet显示出更好的预测性能，与图中的基本事实相比，每个单元的预测结果都非常相似。