【AAAI2025】时间序列|Amplifier：时序预测低频福音，性能飙升！-CSDN博客

本文链接：https://blog.csdn.net/weixin_50092436/article/details/148702755

论文地址：https://arxiv.org/abs/2501.17216
代码地址： https://github.com/aikunyi/Amplifier

为了更好地理解时间序列模型的理论与实现，推荐参考UP “ThePPP时间序列” 的教学视频。该系列内容系统介绍了时间序列相关知识，并提供配套的论文资料与代码示例，有助于理论与实践相结合。
https://space.bilibili.com/613453963

摘要

本研究提出了一种能量放大技术，用以解决现有模型在时间序列预测中容易忽略低能量分量的问题。该技术包括一个能量放大块和一个能量恢复块。能量放大块增强低能量分量的能量，以提高模型对这些分量的学习效率，而能量恢复块则将能量恢复到其原始水平。此外，考虑到能量放大后的数据通常在频谱中显示出两个不同的能量峰值，本研究将能量放大技术与季节趋势预测器集成，以独立地对这两个峰值的时间关系进行建模，作为所提出的模型 Amplifier 的骨干。另外，本研究为 Amplifier 提出了一个半通道交互时间关系增强块，从数据中每个通道的共性和特性的角度增强了模型捕获时间关系的能力。在八个时间序列预测基准上的大量实验一致表明，与最先进的方法相比，本研究的模型在有效性和效率方面都具有优越性。

引言

本研究针对时间序列预测中现有模型容易忽略低能量分量的问题，提出了一种能量放大技术。时间序列预测在金融市场、天气预报、交通流量预测和能源规划等领域具有重要意义。近年来，深度学习的快速发展推动了各种时间序列预测模型的出现，包括基于RNN、TCN、Transformer和线性方法等。然而，这些深度学习方法在学习不同能量分量时存在固有的局限性，倾向于关注高能量分量而忽略低能量分量，导致信息利用不充分。

低能量分量是指频率频谱中幅度较小的频率分量，在信号压缩或模型简化等情况下，它们可能被视为不重要或噪声而被忽略。然而，在微妙变化或背景模式至关重要的场景中，低能量分量可能包含关键细节。例如，在天气预报中，小的气象变化会随着时间的推移而积累，导致天气模式的剧烈变化；在金融市场中，微小的波动会引发更大的趋势或波动，高频交易系统通常会利用这些小变化来执行有利可图的交易。

本研究通过实验验证了低能量分量在时间序列预测中的不可或缺性。结果表明，直接滤除低能量分量会导致不同类型模型（PatchTST、RLinear、DLinear、FreTS）的均方误差（MSE）值增加，突显了低能量分量在提高预测准确性方面的重要作用。然而，本研究也发现，无论低能量分量位于哪个频段，现有模型都倾向于忽略它们。

为了解决低能量分量被忽略的问题，本研究提出了一种能量放大技术，该技术包含能量放大块和能量恢复块。能量放大块旨在增强低能量分量的能量，提高模型对这些分量的学习效率，而能量恢复块则将能量恢复到其原始水平。该技术可以作为一种通用方法应用于其他时间序列预测模型中，以提高它们的性能。此外，为了更好地利用能量放大技术的潜力，本研究设计了一个新的模型Amplifier，该模型基于能量放大后数据的特征。具体来说，由于能量放大块处理后的数据在频谱中呈现出两个能量峰值，因此分离这两个峰值至关重要，以防止它们同时分散单个模块或层的注意力。因此，本研究将能量放大技术与**季节趋势预测器（基于STD）相结合，以分别对这两个峰值的时间关系进行建模，从而形成Amplifier的骨干。为了进一步提高信息利用率，本研究还开发了一种半通道交互时间关系增强块（SCI块）**作为Amplifier的可选内置组件，以从时间序列数据中每个通道的共性和特性的角度增强模型捕获时间关系的能力。