Autoformer为解决时间序列预测问题做出的改变（分解模块and 自动相关机制）

最新推荐文章于 2025-03-21 10:18:51 发布
最新推荐文章于 2025-03-21 10:18:51 发布
阅读量734 收藏 21
点赞数 21
分类专栏： autoformer 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51200050/article/details/140169161
版权

时间序列预测问题是指在给定过去长度为 I I I 的序列的情况下，预测最有可能的未来长度为 O O O 的序列，即输入-I-预测-O的问题。长期预测设置是指预测长期未来，即更大的 O

最低0.47元/天 解锁文章
【NIPS 2021】时序精选论文05｜Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型（代码解读附源码）
ViolenceTemper的博客
06-21 735
突破将序列分解作为预处理的传统方法，提出深度分解架构（Decomposition Architecture），能够从复杂时间模式中分解出可预测性更强的组分。 基于随机过程理论，提出自相关机制（Auto-Correlation Mechanism），代替点向连接的注意力机制，实现序列级（series-wise）连接并减小复杂度（可见问题1），打破信息利用瓶颈。 代码中，实现a的方式是将原始序列分解为季节性变量与趋势性变量，然后注意力机制主要是对季节性变量进行计算；趋势性是在解码器时，与解码器每次计算完注意力后
（2）时间序列预测之Autoformer
m0_62113015的博客
11-21 1301
自相关性和自注意力机制不同于驻点自注意力机制，自相关性关注序列级的关联性。具体地说，对于时间依赖性，作者基于周期性找到子序列之间的相关性。相反，自注意力机制只关注散点之间的关系。尽管部分自注意力机制考虑到局部信息，但他们只利用这些注意力机制挖掘逐点间的依赖性。在信息聚合方面，作者采用延时聚合块对底层周期的相似子序列进行聚合。相反，自关注通过点积将选择的点聚集起来。得益于其固有的稀疏性和子序列级表示聚合，自相关可以同时提高计算效率和信息利用率。优点复杂度OL⋅logLOL⋅logL。
Autoformer中序列分解的特殊性与意义
最新发布
2301_77549977的博客
03-21 310
Autoformer中的序列分解（series_decomp）是该模型最具创新性的特点之一，它深刻体现了时间序列数据处理的特殊需求。
论文笔记-时序预测-Autoformer
weixin_44611266的博客
12-10 1008
论文笔记-时序预测-Autoformer
Autoformer：用于长时序列预测的分解Transformer模型
zuiyishihefang的博客
12-21 9328
文章信息本周阅读的论文是一篇2021年发表在第34届Advances in Neural Information Processing Systems会议上的关于长时时间序列预测的文章，题目为《Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting》。摘要延长预测时间...
Transformer在时序预测的应⽤第一弹——Autoformer
小哨的博客
04-16 6378
该论文提出了一种名为Autoformer的新深度学习模型，用于对时间序列数据进行长期预测。它使用具有自动关联机制的分解架构来发现和表示子系列级别的依赖关系，从而在涵盖实际应用的六个基准测试上具有最高的准确性。
Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型[2021neurips][精读]
To be a better man
05-04 2486
目录 1.文章要解决的问题：长期时间序列预测（值得研究的方向） 2.解决方法(贡献，创新点)： 深度分解架构（Deep Decomposition Architecture） Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting 1.文章要解决的问题：长期时间序列预测（值得研究的方向） 长期时间序列预测问题：待预测的序列长度远远大于输入长度，即基于有...
Autoformer 架构之序列分解模块（Series Decomp）的实现
m0_51200050的博客
07-04 1001
通过上述具体数据的示例，我们看到序列分解模块如何将时间序列数据分解为趋势、季节性和残差成分。这种分解有助于更好地理解和预测时间序列数据中的模式和趋势。序列分解模块通过趋势提取和季节性提取来分解时间序列。这些分解步骤使得数据更易于建模，特别是针对季节性模式。上述方法展示了如何使用移动平均和傅里叶变换来实现趋势和季节性的提取，这些方法在实际应用中可以帮助提高时间序列预测模型的准确性。
Autoformer 之序列分解模块（Series Decomposition Block）的详细解释（附带详细时间序列数据举例）
m0_51200050的博客
07-04 727
通过上述具体数据的示例，我们展示了序列分解模块如何将时间序列数据分解为趋势-周期性部分和季节性部分。这种分解方法通过移动平均平滑周期波动，突出长期趋势，适用于从预测的中间隐藏变量中逐步提取长期稳定的趋势。该过程在 Autoformer 中作为内部操作，有助于提高长期时间序列预测的准确性和稳定性。
时间序列经典模型：Autoformer&FEDformer
03-02
总体来说，FEDformer和Autoformer这两种模型都是在深度学习背景下针对时间序列预测问题提出的改进方案。它们在保持原有模型优点的基础上，通过创新的网络结构设计和计算策略，有效提升了模型在实际应用中的预测性能...
Autoformer
幼儿园大哥~
06-11 3311
​ 我们设计了AutoformerAutoformerAutoformer作为一种新型分解架构，带有自相关机制。我们打破了序列分解的预处理惯例，并将其革新为深度模型的基本内部模块。这种设计使AutoformerAutoformerAutoformer具备了对复杂时间序列的渐进分解能力。进一步地，受随机过程理论的启发，我们基于序列周期性设计了自相关机制，它在子序列级别进行依赖关系的发现和表示聚合。
Autoformer之自动相关机制（Auto-Correlation Mechanism）的实现
m0_51200050的博客
07-04 1036
自动相关机制通过生成 K, Q, V 矩阵、计算查询和键的点积来确定序列中的相关性，并通过自相关函数检测周期性模式，最终聚合相似子序列。这一机制帮助 Autoformer 更好地捕捉和利用时间序列中的周期性信息，从而提高预测的准确性和稳定性。
【长时间序列预测】Autoformer 代码详解之[4]自相关机制
博观约取，厚积薄发
06-11 3299
先看论文中的图：直接看代码： 本文以 queries, keys, values 的shape：[32, 96, 4, 128] 说明。显然， fft 并没有可说的。主要关注的在 time_delay_agg_training 函数。 上图，假设top_k = 2， 序列长度 = 10。该模型更新完毕。更多参考：请参考前文论文阅读部分的参考文献。作者回答了为什么用 torch.roll 。使用 top_k的目的还是降低计算复杂度。...
【文章学习系列之模型】Autoformer
博客标题不能为空
04-09 3584
《Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting》是2021年发表于NeurIPS上的一篇文章。该文章针对时序预测问题，提出一种时序分解模块并对注意力模块进行创新。
Autoformer: 一种基于自动相关机制的时序预测新架构
强化学习曾小健
12-11 1124
在预测任务中，分解通常被用作历史序列的预处理步骤，为未来序列的预测做好准备，例如 Prophet 通过趋势-季节性分解，N-BEATS 通过基展开，以及 DeepGLO 通过矩阵分解。提出的 Autoformer 将分解机制作为深度模型的内部模块，能够在整个预测过程中逐步分解隐藏的序列信息，包括过去的序列以及预测中的中间结果。需要注意的是，该模型在解码器过程中从中间隐藏变量中提取潜在的趋势，允许Autoformer逐步优化趋势预测，并消除干扰信息，以便在自相关中发现基于周期的依赖关系。
AutoFormer——首个Vision Transformer的One-shot NAS
AI Flash
08-16 1121
Paper地址：https://arxiv.org/abs/2107.00651 GitHub地址：https://github.com/microsoft/AutoML 前言 Bert/Transformer结构，已成为自然语言处理、语音识别与多模态匹配等模型的主流结构，视觉模型也逐渐往Transformer结构收敛。本文针对视觉Transformer提出了AutoFormer方法，是一种基于weight entanglement的One-shot NAS，充分预训练的超网络、能满足多种资源约束的部
论文精读--Autoformer
weixin_43909400的博客
09-05 3610
Autoformer精读论文笔记，附带论文及其代码地址
Autoformer：自相关机制简单版代码理解
To be a better man
06-06 1121
Autoformer：自相关机制简单版代码理解 autoformer的auto-correlation的输入shape与输出shape一样
Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型
Paper weekly
07-06 6617
本文介绍本组时间序列预测方向的最新工作：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值