【转载】【时序预测网络】

繁华落尽，寻一世真情

已于 2024-07-30 00:27:48 修改

阅读量381

点赞数 5

文章标签：人工智能

于 2024-07-25 07:40:22 首次发布

本文链接：https://blog.csdn.net/weixin_43509698/article/details/140678521

版权

本文只是转载，方便学习，如有侵权，请联系删除。

【时序网络预测库】https://github.com/thuml/Time-Series-Library
在这里插入图片描述
【ModernTCN】https://zhuanlan.zhihu.com/p/710928227 https://www.zhihu.com/question/64990612
ModernTCN，时间序列领域一种现代纯卷积结构，获得了ICLR 2024时序领域论文最高分。相比主流方法，它在保持性能的同时实现了更高的效率。ModernTCN模型，该模型在时间序列分析任务中取得了与Transformer和MLP模型相媲美的性能，同时保持了卷积模型的高效性能，并揭示了ModernTCN具有更大的有效感受野，能够更好地发挥卷积在时间序列分析中的潜力。
==充分利用卷积可以捕获跨变量依赖性，也就是多变量时间序列中变量之间的关系。在PatchTST等最近的时间序列预测文章中，很多方法采用了通道独立策略，这种策略直接将多变量序列预测中变量之间关系忽略了，反而取得了更好的效果。作者认为，变量之间关系仍然重要，但是要精心设计模型结构来捕获。==作者将时间上、通道上、变量上的三种关系解耦建模，用三种组卷积来巧妙地进行实现,（深度可分离卷积其实也是组数等于深度数的组卷积），既简单又有效。
在这里插入图片描述

在这里插入图片描述
【 SAMformer】https://zhuanlan.zhihu.com/p/710733237
基于Transformer的架构在多变量长期预测方面，仍然不如更简单的线性基线。作者首先通过一个toy线性预测问题，展示了Transformer尽管具有很高的表达能力，但无法收敛到它们的真实解，并且注意力机制是导致这种低泛化能力的原因。基于这一洞见，提出了一个浅层轻量级Transformer模型，当使用感知锐度优化进行优化时，能够成功地逃离不良局部最小值。通过实证表明，这一结果扩展到了所有常用的现实世界多变量时间序列数据集。特别是，SAMformer超越了当前最先进的方法，并且参数数量显著减少。
如图所示，SAMformer模型引入了两项关键的改进。首先采用了可逆实例归一化（Reversible Instance Normalization，RevIN）来处理输入X，因为研究表明，这种技术在处理时间序列训练和测试数据之间的偏移问题时非常有效。其次，采用了SAM（Sharpness-Aware Minimization，谷歌在另一篇论文提出的优化方法）优化算法来训练模型，使其能够收敛到更平坦的局部最小值。综合这些改进，得到了图中展示的具有单一编码器的浅层Transformer模型。SAMformer保留D×D矩阵表示的通道注意力，这与其它模型中使用的L×L矩阵表示的空间（或时间）注意力形成对比。这种方法带来了两个显著的优势：首先，它确保了特征排列的不变性，从而消除了通常位于注意力层之前的定位编码的需求；其次，由于在大多数现实世界数据集中D ≤ L，它能够降低时间和内存的复杂度。因此，通道注意力机制能够评估每个特征在所有时间步上的综合影响。
在这里插入图片描述

SAM介绍https://cloud.tencent.com/developer/article/1843084。SAM是一种优化器。SAM的效果如下表所示，可以大幅度提升性能。
在这里插入图片描述

【TimeMixer】https://zhuanlan.zhihu.com/p/686772622
【TSMixer】https://zhuanlan.zhihu.com/p/667766822
【iTransformer】https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/140240681
【PatchTST】https://blog.csdn.net/hellozhxy/article/details/133676770
【TimesNet 】https://blog.csdn.net/mantoudamahou/article/details/134202033
本文的核心是1维变2维。大部分现有方法都是作用于时间序列的时间维度，捕获时序依赖性。实际上，现实时间序列一般都有多种模式，比如不同的周期，各种趋势，这些模式混杂在一起。如果直接对原始序列的时间维度来建模，真正的时序关系很可能隐藏在这些混杂的模式中，无法被捕获。
本文考虑到：现实世界的时间序列通常具有多周期性，比如每天周期、每周周期、每月周期；而且每个周期内部的时间点是有依赖关系的（比如今天 1 点和 2 点），不同的相邻周期内的时间点也是有依赖关系的（比如今天 1 点和明天 1 点），作者提出将 1D 的时间维度 reshape 成 2D 的。
下图左侧的时间序列具有三个比较显著的周期性（Period 1、Period 2、Period 3），将其 reshape 成三种不同的 2D-variations。每个2D-variations 的每一列包含一个时间段（周期）内的时间点，每一行包含不同时间段（周期）内同一阶段的时间点。变成 2D-variations 之后，就可以采用 2D 卷积等方式来同时捕获时间段内部依赖和相邻时间段的依赖。
在这里插入图片描述