u010681011的专栏

现在很多主流时序模型都是通道独立的，CI（channel independent）的好处在于可以避免过拟合。但是仔细想想多变量之间肯定是有关联的，假设气压升高，温度随后也升高。那实际上气压和温度可能遵循同样的变化模式，只是气压变化领先于温度。看个例子，下图有三个变量v1v2和v3，他们的变化模式是相同的，但是这种变化模式前后有个"时间差"如果直接用通道依赖，由于时间差的存在，造成聚合不同变量时段内实际的变化模式不一致，间接导致预测目标不同。（1）检测多变量相关性。

当前时间序列数据上预训练大型模型面临以下挑战：(1) 缺乏大型且统一的公共时间序列数据集，(2) 时间序列特征的多样性使得多数据集训练十分繁重。(3) 用于评估这些模型的实验基准仍处于起步阶段，尤其是在资源、时间和监督有限的情况下。本文提出MOMENT，一个用于通用时间序列分析的开源基础模型家族。

作者是来自西安理工大学，西北工业大学，以色列理工大学以及香港城市大学的研究者。近年来，深度学习模型在特定数据集上表现优异，但它们往往需要大量的领域特定数据进行训练，缺乏跨域泛化能力。这一挑战促使研究人员开始探索构建基础模型（Foundation Model）的可能性，以期望通过预训练获得通用的时间序列理解能力，进而实现跨域零样本（Zero-shot）或少样本（Few-shot）学习。1)现有的TSF模型，包括基础模型，主要关注于直接拟合数值时间序列数据。

在预训练期间，作者策划了包含多达10亿时间点的大规模数据集，将异构时间序列统一为单序列序列（S3）格式，并发展了面向LTSM的GPT风格架构。”，并系统地解决时间序列特有的挑战，以实现大规模多数据集预训练。先前整理了4篇时间序列大模型的论文，ICML放榜之后，我重点关注了大模型相关的论文，再次梳理了谷歌、清华和CMU的3近期几篇时间序列大模型研究文章（后台回复：“论文合集”获取，共七篇），时间序列大模型的研究正在迅速发展，并且在多个领域和应用中展现出巨大的潜力，零样本和通用性是大家关注的重点。

普适预测器是一个能够处理任何时间序列预测问题的大型预训练模型。它在跨多个领域的大规模时间序列数据集上进行训练。i) 多频率，ii) 任意变量预测，iii) 分布变化。为了解决这些挑战，本文对传统时间序列Transformer架构进行了新颖的增强，提出了——基于掩码编码器的普适时间序列预测Transformer（MOIRAI）。MOIRAI在新引入的大规模开放时间序列档案（LOTSA）上进行了训练，该档案包含了来自九个领域的超过270亿个观测值。

在各个行业的时间序列预测应用中，跨越不同预测时长提供精确的点预测和分布预测是一项重要且持久的挑战。此前关于深度学习模型在时间序列预测中的研究往往集中在单一方面，如长期点预测或短期概率估计。这种狭隘的关注可能会导致方法选择的偏颇，并限制这些模型在未知情境中的适应性。尽管开发通用预测模型的趋势日益增长，但对于其优缺点的全面理解，特别是涉及到点预测和分布预测等基本预测需求时，依然不足。本文提出了ProbTS，这是一种设计为统一平台的基准工具，用于评估这些基本预测需求，并对近年来的众多前沿研究进行严格的比较分析。

这是时序可解释性论文汇总的第二篇，第一篇见这里（后台回复：“论文合集”可直接获取整理的文章）。深度学习的可解释性研究一直是热门，而时间序列的可解释性同样非常重要。这是因为时序模型被大量应用到特定领域：金融、医疗、交通等，这些应用场景对模型的可解释要求更高，需要提供可解释的预测。1论文标题：（ICLR23）时间序列数据为可解释性方法带来了两个关键挑战：首先，同一特征在随后时间步的观察不是独立的；其次，同一特征对模型预测的重要性随时间变化。

梳理了一些时间序列可解释性研究文章（后台回复：“论文合集”获取），深度学习的可解释性研究一直是热门，而时间序列的可解释性同样非常重要。这是因为时序模型被大量应用到特定领域：金融、医疗、交通等，这些应用场景对模型的可解释要求更高，需要提供可解释的预测。1论文标题：Explaining time series classifiers through meaningful perturbation and optimisation基于显著性的方法旨在突出关键特征，是提高可解释性的方法之一。

为什么时间序列可解释很重要？时间序列的可解释性是确保模型预测结果可靠、透明且易于理解的关键因素。它帮助增强用户信任，促进更明智的决策，同时便于调试和风险管理，特别是在特定领域，例如风险投资、医疗诊断等领域，理解模型背后的逻辑非常重要，毕竟谁也不敢把决策权交给一个黑盒模型。本文设计了一种深度神经网络架构N-BEATS，它以残差连接前后向链接和深层全连接层堆叠为核心。

最近读论文发现时间序列研究中，模型的轻量化是目前一个比较热门的方向。这篇论文提出了SparseTSF，一种极其轻量的长时间序列预测（LTSF）模型，旨在解决在有限计算资源下建模复杂时间依赖关系的挑战。SparseTSF的核心是跨周期稀疏预测技术，该技术通过将时间序列数据的周期性和趋势解耦，简化了预测任务。具体来说，该技术通过对原始序列进行降采样，专注于跨周期趋势预测，从而有效提取周期性特征，同时最大限度地减少模型的复杂性和参数数量。基于这种技术，SparseTSF模型使用不到1000。

这篇文章给我们一个发文章的思路：继续在transformer架构卷改进很难了，换新赛道则竞争相对没有那么激烈，要善于发掘新方法在时序上的应用，比如：如KAN、SNN等。另外，这种类型的文章好难讲清楚，太多额外知识点，还是建议看原文～脉冲神经网络（SNNs）因其卓越的能效、事件驱动的特性和生物学的合理性，被公认为神经网络发展的第三代技术，为捕捉时间序列数据的细微差别开辟了独特的途径。复旦大学团队提出了一个针对时间序列预测的SNN框架，充分利用脉冲神经元在处理时间信息方面的高效性。

梳理了近期几篇时间序列大模型研究文章（后台回复：“论文合集”获取），时间序列大模型的研究正在迅速发展，并且在多个领域和应用中展现出巨大的潜力。基础模型的构建：研究者们正在尝试构建时间序列预测的基础模型，这些模型可以在不同的时间序列数据集上进行预训练，并展示出良好的泛化能力。模型可解释性：通过文本形式提供解释性的时间序列预测结果，帮助用户更好地理解时间序列数据的模式和趋势。特定领域的应用：大模型正在被应用于特定领域的时间序列预测，如金融、医疗、交通等，以解决特定问题并提供可解释的预测。1UniTS。

Transformer取得成功的一个关键因素是通道独立（CI）策略，包括Patch TST在内的很多模型都使用了该策略。然而，CI策略忽略了不同通道之间的相关性，这会限制模型的预测能力。在中，作者针对通道独立进行改进。首先，CARD引入了一种通道对齐的注意力结构，使其能够捕捉信号之间的时间相关性以及多个变量随时间的动态依赖性。其次，为了有效利用多尺度知识，作者设计了一个token混合模块来生成不同分辨率的token。第三，引入一种鲁棒损失函数，以减轻潜在的过拟合问题。

五一过后读的第一篇文章，质量非常高。与以往对时序模型修补、改进类的算法论文不同，TFB这篇文章关注的是整个时间序列领域更高的层面的问题。其实从我开始写文章以来，就陆续收到私信，询问：为什么论文中SOTA的模型，放到我的数据集不work /效果不好/不如线性模型？包括我在kaggle社区也发现，几乎所有的业界时序预测竞赛，大家用XGboost类算法，而非深度学习。

我是从去年年底开始入门时间序列研究，但直到最近我读FITS这篇文章的代码时，才发现从去年12月25号就有人发现了数个时间序列Baseline的代码Bug。如果你已经知道这个Bug了，那可以忽略本文～这个错误最初在Informer（AAAI 2021 最佳论文）中被发现，是爱丁堡大学的Luke Nicholas Darlow发现。这个问题对时间序列预测领域的一系列广泛研究都有影响，这个Bug影响了包括在内的经典baseline。FITS这篇文章发布一个修复方法，以帮助社区在他们的工作中解决这个问题。

FITS（Frequency Interpolation Time Series Analysis Baseline）这篇文章发表于ICLR2024，也是之前SOTA的线性模型DLinear团队的最新论文。FITS的主要贡献在于基于傅立叶变换和低通滤波，通过在复频域内进行插值来操作时间序列，结合时域和频域优势，适用于边缘计算和实时分析任务，据作者所说，它具有大约10,000个参数。我个人觉得，大家很要必要研读一下DLinear和FITS这两篇文章，不在于模型，而在于作者讲故事的能力和技巧。

Patch TST发表于ICLR23，其优势在于保留了局部语义信息；更低的计算和内存使用量；模型可以关注更长的历史信息，Patch TST显著提高了时序预测的准确性，Patch可以说已成为时序模型的基本操作。我在先前的一篇文章对Patch TST做了比较细致的论文解读，各位朋友可参考。但是最近很多朋友私信问我：Patch TST到底好在哪里？Transformer模型也对时序数据进行了切分，和Patch TST的切片有何区别？

分享过程中，我收获了不少素未谋面的研究者的鼓励，与大家留言交流的过程更受益匪浅，这是我未曾预料到的收获。是另一个线性模型的变体，它采用了不同的预处理方法。作者认为由于Transformer的自注意力机制是对称的（置换不变性），并且在计算注意力权重时不考虑序列中的位置信息，因此无法有效地捕捉时间序列中的时序依赖关系，导致时间信息的丢失。现有的基于 Transformer 的模型主要集中在建模时间依赖关系（跨时间依赖），但往往忽视了不同变量之间的依赖关系（跨维度依赖），而这对于 MTS 预测至关重要。

FEDformer这篇文章发表于2022年的ICML。其实如果只比较性能的话，到如今其实早已被各类新模型超越。但是考虑到FEDformer一直是时序预测的一个重要baseline。此外，论文采用的周期趋势项分解策略，通过多次分解降低了输入输出的波动这种策略在后续很多论文被反复使用，使得Transformer能够更好地学习长时序中的依赖关系，提升了预测精度。因此，尽管论文发表时间较早，我还是将其列入到了时序必读论文。

从Transformer架构提出以来，时间序列领域几乎绝大多数模型是在Transformer架构基础改进。但自注意力机制计算复杂过高同时位置编码对时序信息表示不完全一直是问题。可解释性：数学形式简单直观，较清晰地展示变量之间的关系，有助于理解时间序列数据背后的动态机制。计算效率：计算成本低，使其在处理大规模时间序列数据时更加高效，特别是在需要实时预测或高频率更新的场景中。稳定性：线性模型通常对噪声和异常值具有一定的稳健性。能够相对较好地处理异常值和噪声问题，避免过度拟合或产生不稳定的预测结果。

这种目标构建方式受到以下观察的启发：扩散模型的前向过程，即按顺序将数据分布破坏为标准正态分布，直观上与将细粒度数据平滑为粗粒度表示的过程相吻合，两者都导致了精细分布特征的逐渐丧失。在这个框架中，论文采用一种分解技术，使Diffusion-TS能够捕捉到时间序列的语义含义，而Transformer则负责从带有噪声的模型输入中深入挖掘详细的序列信息。去噪过程则以易到难的方式进行，首先生成最粗糙的趋势，然后逐步添加更精细的细节，同时利用预测的较粗糙趋势作为条件变量。建模模式的时间转换过程，以便将生成的片段聚合。

时间序列分析中，如何有效地建模时序数据中的时间变化是关键，然而直接从一维时序数据提取这种变化很困难。本文提出一种新的时序分析方法——二维变化建模TimesNet。该方法将一维时间序列数据转换为二维张量，作者基于时序数据的多周期性特点，将数据分解为多个周期内变化和周期间变化，并将这些变化分别嵌入到二维张量的列和行中。这样的好处在于可以利用二维卷积核对这些二维张量进行建模，从而提取出时间序列中更深层次的时间变化特征。

Crossformer是一篇非常典型的在transformer基础上魔改注意力机制的文章，这虽然现在时间序列中的多尺度、注意力基本已经做到头了，但是作为一篇学习论文，质量很高，值得阅读。另外，这篇文章也算是为patch找到了依据。Transformer的核心之一是注意力机制，而基础Transformer时序预测的注意力机制主要建模同一变量不同时刻的相关性（文中称跨时间依赖，如下图b），却忽视了不同变量之间的依赖性（文中称之为跨维度依赖，如下图c）。为了填补这一空缺，本文提出了。

在本篇文章，我们基于pytorch框架，构造了LSTM模型进行天气预测，并对数据进行了可视化分析，非常值得入门学习。该数据集提供了2013年1月1日至2017年4月24日在印度德里市的数据。数据集和完整可用的代码可以在后台回复"代码04"获取。

本文为大家总结了近期发表的8篇高质量时序多尺度建模论文。后续将挑选出部分论文进行解读，欢迎大家关注。

通过傅立叶变化，把时序数据自适应切分为最佳的、不同尺度的patch，然后设计patch内和patch间的注意力机制，进行下游任务。思路非常清晰简洁。关于自适应尺度这样的学术词汇，我想通过举例子其实非常容易理解。以电影举例，有的电影情节冗长拖沓，我们就会快进，看电影的粒度和尺度就会更宽。而有的电影情节紧凑，我们会慢慢欣赏，看电影的粒度和尺度就很精细。自适应的意思就是根据电影情节密度自动帮你计算合适的快进步长。如上图就是一个例子，左图：时间序列被划分为具有不同尺度的patch，作为时间分辨率。

这篇文章我很早之前就留意到并阅读过，但是一直没有做解读，是因为我看到不少人在知乎上说论文的结果与PatchTST相比要弱一些。ICLR24放榜之后，我看这篇论文是被收录了，这说明论文思路，还是有值得借鉴之处的。本文就借此解读ITransformer论文，另一半也结合这篇文章，谈一谈时序方面可以进一步做的工作。为什么transformer直接应用到时序预测效果不好？transformer的一个时间步内具有不同物理意义的时间序列，被切分成小段，然后把这些变量映射到一个token，间接摧毁了变量间的联系。

之前的文章我们读了Patch TST，建议大家阅读原论文，毕竟是基础，我的论文解读放在下方。客观讲，Patch方法目前在时间序列领域几乎等同于attention，用了确实比没用好。这篇文章就是继patch TST之后的另一篇，但从题目名字可以看出该文章工作重点是学习patch的特征表示方法。具体来说，作者对比了 patch independent和patch dependent 两种方法，所产生的特征的优劣。按照作者说法，patch independent 方法结构简单、参数少，效果好。

书接上回，我们在之前的文章已经分析了直接把transformer应用到时间序列预测问题的不足，其中我们总结了4个不足：分别是：注意力机制的计算复杂度高，为 O(N^2)，并且计算得出的权重仅有少部分有用；注意力机制仅建立单时间点位之间的关系，实际能提取到的信息非常有限；对时序或者说位置的建模表示不够充分，而时序任务中前后位置关系是重中之重；没有专门的机制在数据“平稳化（之后详解）”和“非平稳化”之间达到合适的平衡。其中Informer对第一点做了较大的改进；