【时空流量预测笔记4】MSTL-GLTP：全局-局部分解与预测框架

1.相关工作

从云边协同和流量预测两方面调研。

（1）云边协同

一方面，在需求严格、输入复杂的情况下，通常采用基于云的框架。另一方面，基于边缘的框架规避了长时延，缓解了云网络作为补充节点的压力。

边缘网络虽然在一定程度上忽略了全球流量之间的空间相关性，但由于其效率高，可以作为云网络的补充。通过结合两种架构的优势，边缘云协作网络可以同时实现高精度和低延迟。也就是说，该网络可以允许在云服务器上处理复杂数据，而在边缘网络上处理简单数据。

现有的工作主要集中在单一的结构上。

（2）流量预测

混合模型缺乏对分解分量间内部空间相关性的关注。

综上所述，由于目前的研究要么是简单地利用局部的时间相关性，要么是混合模型不能充分利用时空信息。因此，本文提出了一个MSTL-GLTP框架，以高精度和低复杂度预测蜂窝网络流量。

2.系统模型

云边协同架构如上图，可以实现分布式大规模流量预测。

流量可分为全局、局部和本地流量。全局流量具有复杂的时空特征，目标单元与邻近和遥远区域具有很强的空间相关性。换句话说，全局流量将大量具有相似特征的单元格信息集合在一起，打破了空间距离的限制。局部和本地流量表明该单元与相邻单元具有同质性，几乎不受远程流量的影响。

全局模型可以很好地匹配复杂流量的特征，但具有较高的计算成本和延迟。局部模型可以很容易地拟合简单交通的时空特征，并以极低的延迟和成本获得令人满意的精度。

云边协同：边缘云协作架构将全局模型部署在云服务器上，以获取全局流量的空间信息。在边缘服务器上使用多个局部模型来分析区域和本地流量中的本地和邻居空间信息。

3.MSTL-GLTP模型

流量分解和预测。

MSTL算法首先将每个小区的原始流量分解为三个分量:1)多季节分量;2)趋势分量;3)残差分量。随后，将全局模型和局部模型并行应用于不同的组件。

全局模型结合聚类、距离辅助注意机制和双向LSTM来预测多季节分量，局部模型包含TCN模型和GPR模型，分别用于处理趋势分量和残差分量。

A.MSTL分解

STL（Seasonal-Trend decomposition procedure based on Loess）时间序列分解

把时间序列分解为趋势项、季节项、剩余项。

在STL分解过程中，首先使用一个循环过程来估计并去除季节性分量，然后应用LOESS方法估算趋势分量，最后从原始数据中减去趋势和季节性分量，得出残差。这个过程是迭代进行的，直到各个组件达到一定的稳定状态。 

 MSTL算法是在基本STL算法的基础上扩展而来的一种加性分解算法。可以从时间序列中提取多个季节周期。

其中，由于较高的季节周期覆盖了较低的季节周期的变化趋势，MSTL按升序迭代提取季节分量。提取多个季节分量后，通过STL的最终迭代计算趋势分量和残差分量。

提取多个季节分量：日分量和周分量。

可直接使用python库statsmodels来实现MSTL算法。

B.全局模型模块（处理季节分量）

包括聚类、距离辅助注意机制和Bi-LSTM模型。

1）聚类

选k=6。

2）距离辅助Bi-LSTM模型

由于与聚类中心的相似度不同，预测精度也不同，因此很难保证每个聚类中所有单元的预测精度。因此，提出了一个距离辅助的Bi-LSTM模型来预测不同集群的流量。根据每个单元与相应簇中心的距离为每个单元分配不同的权重。

Bi-LSTM是LSTM的双向扩展

为了使LSTM可以获得当前时刻之后的状态信息。

由两个LSTM层组成，分别处理序列数据的正向和反向信息。这种结构使得Bi-LSTM能够同时考虑过去和未来的上下文信息，从而在处理序列数据时更加有效。

1. 正向LSTM：

   • 正向LSTM从序列的开始处理数据，逐步向前传递信息。
   • 对于时间点t，正向LSTM的输入是序列中从时间点0到t−1的所有信息。也就是说，它在处理时间点t时，只能看到时间点t之前的数据。

2. 反向LSTM：

   • 反向LSTM从序列的末尾开始处理数据，反向传递信息。
   • 对于时间点t，反向LSTM的输入是序列中从时间点t+1到序列末尾的所有信息。这意味着它在处理时间点t时，只能看到时间点t之后的数据。

在实际的模型实现中，正向和反向LSTM层是并行工作的，它们共享权重，但在不同方向上处理数据。在每个时间点t，两个方向的LSTM层会输出各自的隐藏状态，这些隐藏状态随后会被合并，以提供对当前时间点t的全面信息。

这种双向处理方式允许模型在每个时间点上同时考虑过去的上下文和未来的上下文（尽管是反向的“未来”），从而更好地捕捉序列数据中的依赖关系。然而，需要强调的是，反向LSTM在训练时并不“知道”未来的数据，它只是在处理数据时采用了从后向前的方式。

在训练过程中，反向LSTM实际上是在“预测”序列中每个时间点之前的信息，而不是未来的信息。这样，模型在训练时并没有接触到真正的未来数据，因此不会产生数据泄露。

双向循环神经网络：（来自《动手学深度学习》李沐）

双向循环神经网络的一个关键特性是：使用来自序列两端的信息来估计输出。 也就是说，我们使用来自过去和未来的观测信息来预测当前的观测。 但是在对下一个词元进行预测的情况中，这样的模型并不是我们所需的。 因为在预测下一个词元时，我们终究无法知道下一个词元的下文是什么， 所以将不会得到很好的精度。 具体地说，在训练期间，我们能够利用过去和未来的数据来估计现在空缺的词； 而在测试期间，我们只有过去的数据，因此精度将会很差。 

另一个严重问题是，双向循环神经网络的计算速度非常慢。 其主要原因是网络的前向传播需要在双向层中进行前向和后向递归， 并且网络的反向传播还依赖于前向传播的结果。 因此，梯度求解将有一个非常长的链。

双向层的使用在实践中非常少，并且仅仅应用于部分场合。 例如，填充缺失的单词、词元注释（例如，用于命名实体识别） 以及作为序列处理流水线中的一个步骤对序列进行编码（例如，用于机器翻译）。

比较经典的应用是自然语言处理中的情感分析。

其中隐状态包含前向和后向两部分（合并）。

输入门、遗忘门、输出门算法和LSTM相同。在得到分量的预测值后，根据其到聚类中心的距离给相应的单元格分配不同的权重，得到损失函数。

距离经过sigmoid函数得到权重。权重体现在损失函数上。离簇中心越远，权重越高。这样，Bi-LSTM模型可以专注于与聚类中心相似度较低的单元，并为这些单元分配更高的权重，进一步提高准确率。

C. 趋势分量的时间卷积网络

趋势分量旨在捕捉流量的长期变化趋势。主要受其周围信号的短期影响。换句话说，仅仅通过局部信号而不是全局信号就可以很好地捕获空间依赖性。本文采用TCN模型。

TCN由多个具有不同膨胀系数的残差块组成。同时，每个残差块包含两层扩展因果卷积，即归一化、激活、正则化和残差连接。扩张的因果卷积层首先探索历史信息的影响，通过扩张操作扩展感受野。在每个剩余块中对输入进行零填充，以确保输入和输出具有相同的长度。

随后，对卷积层进行权值归一化处理，以缓解梯度爆炸问题。

TCN时域卷积网络

对比RNN：RNN：难以并行计算，存在梯度消失或爆炸的问题。TCN：可并行，捕捉局部依赖关系，梯度传播稳定，但处理长期依赖关系较差（采用膨胀卷积来解决）

膨胀卷积：通过膨胀系数（图中的d）使卷积核元素之间存在间隔，在保持参数数量不变的情况下使其覆盖的范围增大，感受野增大。对于处理具有长距离依赖性的任务非常有帮助。

残差链接：一个残差块包含两层的卷积和非线性映射，在每层中还加入了 WeightNorm 和 Dropout 来正则化网络和防止过拟合。1×1 卷积是用来降维的，确保这些块的输入和输出具有相同的形状。

z (i,n-1)为对于特定单元i，第n层残差块的二维输入。F表示由两层扩展随机卷积、权值归一化、Relu、dropout依次叠加而成的一系列变换，第一个残差块和最后一个残差块采用1 × 1 Conv。

D.残差分量的高斯过程回归

残差分量主要由动态偏差和系统噪声产生，很少受到全局或相邻空间信息的影响。因此，仅使用局部时间信息就可以准确有效地预测残差分量。

假设残差分量在任意时间点服从多元高斯分布。

高斯过程回归（GPR）

http://t.csdnimg.cn/Vua69

这篇专栏比较详细

一般来说，核分为两类:1)平稳核和2)非平稳核。具体来说，平稳核，如径向基函数核(RBF)核和周期核，只考虑数据点之间的相对距离。相反，非平稳核受数据点的绝对位置和值的影响。

本文采用由多种核组成的复合核。combines the Matérn kernel with a white kernel。

由于季节变化只存在于季节分量中，所以不考虑任何包含周期参数的核构成复合核。（也就是不需要考虑周期性，残差分量不含周期性分量）

4.实验结果

米兰数据集。

在预处理方面，将互联网样本的缺失值填充为零，然后对每个单元的互联网流量进行归一化，使收敛速度更快。将数据集按8:2的比例分成训练数据集和测试数据集，根据过去一天的流量预测未来30分钟的流量。

baseline选择了局部模型和全局模型。评价指标RMSE、MAE、R2。

A.精确度

作为MSTL-GLTP的特例，当簇数等于N时，由于忽略了多季节分量的空间相关性，MSTL-GLTP的性能略有下降。

MSTL-GLTP能够准确预测蜂窝流量峰值和拐点，而LSTMGPR和convl - lstm预测突发流量更平滑，但精度较差。

B.计算复杂度

训练时间分为Traffic Decomposition和Model-Training。此外，不同的模型经历相同的训练时期，totaltime除以模型覆盖区域下的单元数，以便公平比较。

即使模型数量增加，MSTL-GLTP模型也能在较短的时间内获得满意的性能。

C.空间相关性的影响

比较了不同相邻单元数和不同核数的局部模型。

TCN模型首先通过引入相邻单元的空间信息，可以实现趋势分量的RMSE和MAE较低。但是，随着输入通道的增加，也会引入不相关的空间信息，降低预测精度。同时，计算成本会随着额外的时空信息而增加。因此，我们选择r = 9作为趋势分量，在合理的范围内考虑了空间依赖性。对于残差分量，从图(b)中可以看出，误差随着输入通道r的增加而急剧增加，这意味着残差分量不受相邻单元空间信息的影响，只需要对时间相关性进行建模。因此，残差分量的输入通道数取r = 1。

D.复合核的影响

采用绿色图示的复合核。 因为m核和RQ核都可以看作是RBF核的推广，而m核通过控制函数的平滑性更好地捕捉了残差分量内的随机性。

5.总结

本文提出了MSTL-GLTP，这是一个边缘云协作框架，在确保预测准确性的同时有效地降低了系统复杂性。为了更好地捕捉蜂窝网络流量的内在特征和时空相关性，MSTL- GLTP经过两阶段的训练，包括MSTL分解和全局-局部流量预测。具体而言，MSTL分解可以根据流量的潜在特征对其进行分解，有利于并行训练。此外，在全局模型中引入了距离辅助注意机制，根据不同小区的贡献来减轻平均损失。此外，TCN和GPR模型部署在本地服务器上，分别处理区域和本地流量。

本文考虑的未来工作：

更先进的分解技术，以适应蜂窝流量日益复杂的时间特征。

图神经网络可以更好地对时空相关性进行建模。

将外部因素（跨域信息）嵌入到框架中。