基于多级小波变换的多频率时序预测模型

最新推荐文章于 2025-03-10 16:34:20 发布

Python编程杰哥

最新推荐文章于 2025-03-10 16:34:20 发布

阅读量940

点赞数 17

文章标签：人工智能 microsoft 大数据腾讯云云计算

本文链接：https://blog.csdn.net/xx_nm98/article/details/145786470

版权

今天给大家介绍一篇南佛罗里达大学和英特尔实验室联合发表的时序预测模型优化工作，提出了一种新颖的多分辨率时间序列预测模型——Wavelet Patch Mixer (WPMixer)，旨在提高长期时间序列预测的效率和准确性。WPMixer结合了多级小波分解、Patch和嵌入技术，以及MLP混合方法，能够有效提取时间和频率域的信息。通过独立处理不同分辨率的序列，模型减少了信息损失，并通过Patch混合和嵌入混合捕获局部和全局信息。实验结果表明，WPMixer在多个基准数据集上显著优于现有的MLP和Transformer模型。

论文标题: WPMixer: Efficient Multi-Resolution Mixing for Long-Term Time Series Forecasting

论文地址：https://arxiv.org/abs/2412.17176

1.研究背景

尽管近年来基于深度学习的方法（如RNN、CNN和Transformer）在时间序列预测中取得了显著进展，但这些模型在处理复杂的时间序列数据时仍然存在一些挑战。例如，Transformer模型在学习长期依赖关系方面表现良好，但在某些baseline数据集上，简单的线性模型（如Dlinear）甚至可以与其相媲美。现有的MLP-mixer模型（如TimeMixer和TSMixer）在多尺度时间序列预测中表现出色，但它们在处理复杂季节性模式时可能会导致信息损失。此外，传统的移动平均法在分解信号时可能无法有效捕捉到时间序列中的突发变化。

此外，由于真实世界的时间序列数据通常包含复杂的特征和突发的波动，现有模型在仅依赖时间域信息时可能无法充分捕捉这些特征。因此，提取时间和频率域的多分辨率信息显得尤为重要。许多现有模型在进行长时间预测时计算成本较高，尤其是在处理较长的回溯窗口时，导致实际应用中的效率问题。因此，开发一种既能有效捕捉时间序列特征又具备计算效率的模型是一个亟待解决的挑战。

2.实现方案

本文提出了一个基于小波变换的方案，如下图所示。其主要包括4个主要组成部分：

多级小波分解（下图粉红色模块）：WPMixer利用多级小波分解将时间序列数据分解为多个频域序列，这些系数序列代表了输入序列在不同时间分辨率下的频域特征。其采用高通&低通滤波器，以提取不同分辨率的小波系数。具体而言，其流程如下：

一级分解：低通滤波器（LPF）对原始信号进行低通滤波，得到一个低频子带信号。这个信号包含了原始信号中的低频成分；高通滤波器（HPF）对原始信号进行高通滤波，得到一个高频子带信号。这个信号包含了原始信号中的高频成分。

进一步分解：对低频子带信号再次应用低通和高通滤波器，得到新的低频子带和高频子带。这个过程可以继续进行，每次对低频子带进行分解，直到达到所需的级别。

最终，多级小波分解会生成多个子带信号，每个子带包含不同频率范围的信号成分。通常，最细粒度的子带信号包含最高频率的细节信息。

具体的滤波器选择和小波函数有关。常见的Daubechies、Symlets、Coiflets和Biorthogonal等小波家族都有对应的低通和高通滤波器。这些滤波器的设计是为了提取信号中的不同频率成分，读者也可以根据自己的需求选择对应小波函数和对应高低通滤波。在本文中，高频信息被称为detailed information，低频信息被称为approximate information。其最终的分解规则如下：

其中高频分量有m个分量，而低频approximate information仅包含第m个小波分量。通过这种方式，模型可以捕获时间序列数据的多分辨率信息，同时避免信息冗余。

实例归一化(Instance Normalization，橙色模块)：为了解决训练集合和测试集合存在的分布漂移问题，WPMixer采用了可学习的仿射变换组成的可逆实例归一化（RevIN），通过在输入序列分解前和重建后分别应用，以稳定数据分布。

Patch和嵌入模块（Patching & Embedding）：该模块将每个归一化的单变量小波系数序列转换为一系列重叠的Patch，并通过嵌入层将Patch编码为固定维度的特征，这有助于模型捕获局部信息。本操作和PatchTsT中的操作类似，通过将长序列折叠为多个更短的序列，以获得更细颗粒度的时间信息提取能力；

MLP混合器模块（黄色模块）：混合器模块由两个主要部分组成：Patch混合器和嵌入混合器。Patch混合器通过两个线性层和GELU激活函数来聚合Patch内的局部信息。嵌入混合器则通过两个线性层和GELU激活函数来捕获全局信息，同时通过残差连接来增强模型的表达能力。

3.实验结果

本文的实验部分主要针对Wavelet Patch Mixer (WP-Mixer)模型在多个长期时间序列预测任务上的性能进行了评估。可以看到，WP-Mixer模型在长期多变量时间序列预测任务中展示了显著的性能提升。在计算效率和鲁棒性方面，WP-Mixer模型在所有预测长度下，所需的GFLOPs不到TimeMixer模型的十分之一，并且模型在不同的随机种子下表现出较低的标准偏差，显示了其较高的鲁棒性。

综上所述，实验部分的结果表明，WP-Mixer模型在长期时间序列预测任务中，不仅在性能上达到了最先进的水平，而且在计算效率和鲁棒性方面也表现出了优势。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述