NeurIPS 2024 | 大道至简！时间序列预测真的需要复杂网络架构吗？简单滤波器就已足够...

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

点击 阅读原文 观看作者讲解回放！

本篇论文的工作已被NeurlPS（Conference on Neural Information Processing Systems）2024 会议接收。本文作者主要来自国家信息中心、牛津大学、北京理工大学、同济大学、中国科学技术大学等。本文的主要作者也是NeurIPS 2023 FreTS和FourierGNN的作者。

时间序列数据广泛应用于各个领域，其精准的预测在能源、气象、医疗等应用中发挥着至关重要的作用。现有研究在不同网络架构的预测模型上进行了广泛探索，然而各种基于Transformer的模型仍然很受欢迎。像Transformer这样复杂的网络架构对时间序列预测真的有必要吗？

我们发现目前这些先进的基于Transformer的时序预测模型，如iTransformer，仍然有对高频信号的响应较弱从而导致全频段信息利用受限、计算效率低下等问题，而这些问题恰恰是实现准确预测的基础。因此，我们从信号处理的视角入手，基于我们设计的可学习的频率滤波器，提出了一个极简的时间序列预测模型FilterNet去完成时间序列预测任务。

论文题目：FilterNet: Harnessing Frequency Filters for Time Series Forecasting

Paper Link：https://arxiv.org/abs/2411.01623

Code Repository：https://github.com/aikunyi/FilterNet

研究动机：现有模型架构存在频段信息利用瓶颈

时间序列信号往往由不同频段信号组成，为了探究是否现有模型能对频域信号进行准确捕捉，我们设计一个简单的模拟验证实验。首先，我们利用低频、中频和高频分量合成的信号作为实验数据（见图1(a)）来测试时序模型的预测性能。由图1(b)可知，当前时序预测的先进模型iTransformer表现不佳。这表明，即使是由三种不同频率成分组成的简单信号，当前先进的基于Transformer的模型仍无法充分学到相对应的频谱信息。

相比之下，在传统的信号处理（signal processing）领域，简单的频率滤波器具备许多优秀特性，例如频率选择性、信号调制和多速率处理。这些特性有望显著提升模型在时间序列预测中提取关键信息频率模式的能力。因此，受信号处理中滤波过程的启发，本文提出了一种非常简单并且高效的学习框架—-FilterNet，用于时间序列预测任务。

研究方法：滤波器网络（FilterNet）

FilterNet的设计极其简单，整体框架如下图所示：

FilterNet的主要模块是频率滤波模块（Frequency Filter Block），在其中我们设计了两种可学习滤波器作为框架的核心单元：

1.Plain Shaping Filter：使用最简洁的、可学习的频率滤波器，实现信号滤波与时间关系的建模。

2.Contextual Shaping Filter：针对利用滤波后的频率与原始输入信号的兼容性，进行依赖关系的学习。

具体来说，FilterNet的各组件介绍如下：

1.实例归一化（Instance Normalization）

时间序列数据通常是在较长时间跨度内收集的，这些非平稳序列不可避免地使预测模型面临随时间变化的分布偏移。像很多时序预测模型一样，我们采用了可逆Instance Normalization，如下所示：

2.频率滤波模块（Frequency Filter Block）

时间序列预测器可以视为针对关键信号的捕捉，从某种程度上，可以视为在频域上进行了一次滤波过程。基于此，我们直接设计了一个滤波器模块来建模相应的关系，具体为：

我们在文中设计了两类滤波器，分别为plain shaping filter (PaiFilter)和contextual shapingfilter (TexFilter)。PaiFilter直接通过初始化一个权重参数来模拟对应的滤波器，具体为：

相对应的，TexFilter则通过一个可学习的神经网络来生成相应的滤波器，完成对应的滤波学习，具体为：

3.前馈神经网络（Feed-forward Network）

频率滤波模块建模了时间序列数据中的一些主要时间依赖关系，随后我们利用前馈神经网络（Feed-Forward Network）建立这些时间依赖关系和未来τ个时刻数据的关系，最后进行预测，并对预测值进行反归一化操作。

实验结果

1.预测结果

我们在八个时间序列预测基准数据集上进行了广泛的实验，结果表明，与最新的预测算法相比，我们的模型在不同预测场景中均表现出卓越的性能。其中，PaiFilter在小数据集上（变量数较小，如ETT、Exchange数据集）表现更好，而TexFilter则在大数据集上（变量数较多，关系更为复杂，如Traffic、Weather数据集）表现出强有力的竞争力。

2.频率滤波器的可视化

图7可视化了学习到的滤波器的频率响应特性，表明FilterNet具备全频段的信号处理能力。此外，如图8所示，在ETTm1数据集上针对不同预测长度进行的可视化实验进一步证明了FilterNet的强大处理能力。

3.预测结果的可视化

与其他最新模型相比，FilterNet在预测未来序列变化方面展现了出色的准确性，充分证明了其卓越的性能。

4.效率分析

我们在两个不同的数据集上对FilterNet进行了相应的效率分析实验，实验结果表明，无论数据集大小，FilterNet都表现出比Transformer方法更高的效率；虽然在每个epoch训练时间上，FilterNet比DLinear略差，但是FilterNet效果比DLinear要好。

结论

本文从信号处理的角度探索了一个有趣的方向，首次尝试将频率滤波器直接应用于时间序列预测。我们提出了一种简单而高效的架构——FilterNet，该架构基于我们设计的两类频率滤波器来实现预测目标。在八个基准数据集上的全面实验证明了我们方法在效果和效率方面的优越性。此外，我们还对FilterNet及其内部滤波器进行了细致深入的模型分析，展示了其诸多优秀特性。我们希望这项工作能够推动更多研究，将信号处理技术或滤波过程与深度学习相结合，用于时间序列建模与精确预测。

往期精彩文章推荐

论文解读 | EMNLP2024 论文SEA中的自动化同行评审：标准化、评估与分析

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。

 

我知道你

在看

提出观点，表达想法，欢迎

留言

点击 阅读原文 观看作者讲解回放！