Pathformer做时间序列

最新推荐文章于 2024-09-15 10:38:49 发布
最新推荐文章于 2024-09-15 10:38:49 发布
阅读量1.2k 收藏 7
点赞数 7
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/neyman/article/details/137885530
版权
超越Transformer，Pathformer等方法在时间序列预测中展现出新思路，关注数据输入形式，利用patch转换复杂时序数据，提升模型性能。文中提到了多篇相关论文，包括时间序列的多尺度建模、补丁重建任务、分解MLP-Mixer等，旨在为时间序列预测提供新视角和创新机会。
摘要由CSDN通过智能技术生成

超越Transformer！时间序列预测新方法，霸榜AI顶会

超越Transformer，霸榜AI顶会，patch做时间序列预测成为新烫门，强烈推荐想发论文的伙伴多关注！

具体看，以往的时间序列预测创新着眼改模型，越来越卷，难度越来越大，而基于patch的方式，主要关注数据的输入形式，这是一个新思路，目前还在蓬勃发展中，创新机会多！而且patch的方式能够把各种复杂时序数据，转换成深度学习模型能处理的方式，在多变量预测等方面，独具优势，对提高模型性能等也很有帮助。

为了能够帮大家获取更多灵感启发，本次给大家挑选了10个基于Patch的时序预测改进思路，且提供了源码，方便大家改模型。

论文题目：《PATHFORMER: MULTI-SCALE TRANSFORMERS WITH ADAPTIVE PATHWAYS FOR TIME SERIES FORECASTING》

论文简述：基于变压器的模型在时间序列预测中取得了一定的成功。现有的方法主要是从有限或固定的尺度上对时间序列进行建模，很难捕捉到不同尺度上的不同特征。本文提出了一种具有自适应路径的多尺度变压器(Pathformer)。本文提出的Transformer集成了时间分辨率和时间距离，用于多尺度建模。多尺度分割利用不同大小的补丁将时间序列划分为不同的时间分辨率。基于每个尺度的划分，对这些补丁进行双重关注，以捕获全局相关性和局部细节作为时间依赖性。作者进一步丰富了多尺度变压器的自适应路径，该路径根据输入时间序列中变化的时间动态自适应调

最低0.47元/天 解锁文章
xinxuann
关注
时间序列预测 — 时间序列预测研究综述
几度春风里的博客
11-10 8870
指对某种事物发展变化过程进行观测并按照一定频率采集得出的一组随机变量。就是从众多数据中挖掘出其蕴含的核心规律并且依据已知的因素对未来的数据做出准确的估计。由于大量物联网数据采集设备的接入、多维数据的爆炸增长和对预测精度的要求愈发苛刻，经典的参数模型以及传统机器学习算法难以满足预测任务的高效率和高精度需求。近年来，以卷积神经网络、循环神经网络和 Transformer模型为代表的深度学习算法在时间序列预测任务中取得了丰硕的成果。
[ICLR 2024] 基于Pathways架构的自适应多尺度时间序列预测模型Pathformer
科技很有意思
05-30 1118
现实场景中的时间序列在不同的时间尺度展现出不同的变化，如云计算场景中的CPU，GPU，内存等资源需求呈现出日、月、季节等独特尺度的时间模式. 多尺度建模主要从不同的尺度中提取时序特征和依赖关系，建模多尺度需要考虑两个方面：时间分辨率和时间距离。（1）多尺度Transformer模块：在多尺度Transformer块中，我们对输入的时序特征进行不同patch大小的时序划分，不同的patch大小代表不同时序的时间分辨率。论文作者： 陈鹏， 张颖莹， 程云爻， 树扬， 王益杭， 文青松， 杨彬， 郭晨娟。
时间序列新范式！多尺度+时间序列，刷爆多项SOTA
学姐带你玩AI的博客
06-07 1339
当我们面对复杂模式和多变周期的应用场景（比如金融市场分析）时，传统时序方法通常只用固定时间窗口来提取信息，难以适应不同时间尺度上的模式变化。但多尺度时间序列通过调整时间分辨率和距离，不仅能捕捉到时序的局部细节，还能把握其长期趋势和周期性变化。这就大大提升了模型对新数据集的适应性和不同应用场景迁移能力，让我们能够实现更精确的时间序列预测。Pathformer结合了时间分辨率和时间距离的概念，采用自适应Pathways来根据输入时序的时间特征动态提取和聚合多尺度特征，取得了SOTA预测效果。
时间序列中的多尺度问题-近期值得关注的8篇多尺度建模工作
最新发布
u010681011的专栏
09-15 1117
本文为大家总结了近期发表的8篇高质量时序多尺度建模论文。后续将挑选出部分论文进行解读，欢迎大家关注。
遥遥领先！基于transformer变体的时间序列预测新SOTA！
学姐带你玩AI的博客
03-08 4318
目前，已经超越了传统机器学习算法，。这其中，基于Transformer架构的模型在时间序列预测中取得了丰硕的成果。Transformer模型因其强大的序列建模能力，很适合时间序列这种也是序列类型的数据结构。但与文本序列相比，时间序列具有很多独特的特征，比如自相关性、周期性以及长周期性预测，这些特性给Transformer在时间序列预测场景中的应用带来了新的挑战。为了克服这些挑战，满足预测任务的高效率和高精度需求，研究者对原始的Transformer结构进行了改造，比如本文介绍。
[论文笔记] Multi-resolution Time-Series Transformer for Long-term Forecasting
weixin_45152283的博客
03-05 1355
【论文笔记】时间序列预测文章是阅读论文后的个人总结，可能存在理解上的偏差，欢迎大家一起交流学习，给我指出问题。
MULTI-SCALE TRANSFORMERS WITH ADAPTIVE PATHWAYS FOR TIME SERIES FORECASTING讲解
weixin_52153243的博客
08-06 1030
该模型从接收原始时间序列数据（"Original Time Series"）开始，通过一系列精心设计的组件逐步提取、处理和融合信息，最终由"Predictor"生成输出结果。该流程图描述了一个从图像输入到最终输出（可能是分类、检测或其他形式的预测）的完整处理流程。它涉及图像分割、特征提取、注意力机制、数据融合、路径选择以及可能的季节性或趋势分析等多个步骤。该流程图展示了一个高度集成和复杂的计算机视觉处理流程，它结合了多种技术和算法来处理图像数据。
MULTI-SCALE TRANSFORMERS WITH ADAPTIVE PATHWAYS FOR TIME SERIES FORECASTING
weixin_45731480的博客
03-30 1714
基于变压器的模型在时间序列预测中取得了一定的成功。现有的方法主要是从有限或固定的尺度上对时间序列进行建模，很难捕捉到不同尺度上的不同特征。本文提出了一种具有自适应路径的多尺度变压器Pathformer。所提出的Pathformer集成了时间分辨率和时间距离，用于多尺度建模。多尺度分割利用不同大小的补丁将时间序列划分为不同的时间分辨率。基于每个尺度的划分，对这些补丁进行双重关注，以捕获全局相关性和局部细节作为时间依赖性。
14篇最新Transformer热门论文！涵盖注意力机制、架构改进、适用性扩展等
2401_82426425的博客
01-31 5598
实验表明，M2在非因果BERT风格语言建模、ViT风格图像分类和因果GPT风格语言建模中表现出色，与BERT-base和BERT-large在GLUE质量上相匹配，参数最多减少27%，在ImageNet上精度提高，同时在The PILE的预训练困惑中以360M参数匹配GPT风格的Transformers，表明了在缺乏注意力或MLP的情况下匹配Transformer质量的可能性。通过分析线性注意力的局限性，研究人员引入了映射函数和秩恢复模块，增强了自我注意力的表现力，同时保持较低的计算复杂度。
CNN做时间序列预测_预测（一）：时间序列分析
weixin_39968852的博客
11-20 6221
一、统计术语时间序列法是一种统计分析方法，根据时间的数据序列预测未来发展趋势。时间序列分为平稳序列和非平稳序列两大类。平稳序列是不存在趋势只存在随机性的序列，非平稳序列则是包含趋势、季节性和随机性的序列。1、趋势：时间序列在长时间内呈现出来的长期上升或下降的变动；2、季节性：时间序列在一年内出现的周期性波动，比如说航空业的销售淡季和销售旺季；3、随机性：时间序列的偶然性波动。时间序列预测的步骤是：...
CNN做时间序列预测_关于时间序列预测的一些总结
weixin_39976748的博客
11-21 3440
时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题，和回归分析模型的预测不同，时间序列模型是依赖于事件发生的先后顺序的，同样大小的值改变顺序后输入模型产生的结果是不同的。首先需要明确一点的是，时间序列可以分为平稳序列，即存在某种周期，季节性及趋势的方差和均值不随时间变化的序列，及非平稳序列。1.传统时序建模方法 传...
时间序列—显著相关性和滞后性分析_python
热门推荐
qq_34229228的博客
06-13 2万+
本文讲述了两个时间序列(信号)的相关性分析，可以利用相关性分析进行特征筛选。此外本文还讲了怎么判断时间序列的滞后性的方法。
多尺度Patch在时间序列建模中的应用总结
AI蜗牛车
11-24 1591
在PatchTST等一系列后续Transformer相关的工作中，使用patch进行时间序列数据处理+Transformer模型结构的方式逐渐成为时间序列预测的主流模型。然而，之前的很多工作，都使用一个固定的时间窗口进行patch处理，降低了模型对于不同scale规律性的捕捉。这也衍生出一个研究点：如何设计多粒度的patch方法，增强patch+Transformer的建模能力。今天这篇文章，给大...
[Mixer]MLP-Mixer: An all-MLP Architecture forvision
Ah丶Weii
05-08 543
1. Motivation In this paper we show that while convolutions and attention are both sufficient for good performance, neither of them are necessary. 2. Contribution We propose the MLP-Mixer architecture (or “Mixer” for short), a competitive but conceptua.
可解释时间序列分析的多级小波分解网络
zuiyishihefang的博客
04-29 990
1.文章信息本周阅读的论文是题目为《Multilevel Wavelet Decomposition Network for Interpretable Time Series Analysis》的一篇2018年发表在《Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & ...
PatchMixer：一种用于长时间序列预测的Patch混合架构
qq_20144897的博客
06-25 1703
PatchMixer：一种用于长时间序列预测的Patch混合架构，论文解读
如何搭建适合时间序列预测的Transformer模型？
AI蜗牛车
05-16 7084
今天又是一篇Transformer梳理文章，这次应用场景是时间序列预测。Transformer的序列建模能力，让其天然就比较适合时间序列这种也是序列类型的数据结构。但是，时间序列相比文本序列也有很多特点，例如时间序列具有自相关性或周期性、时间序列的预测经常涉及到周期非常长的序列预测任务等。这些都给Transformer在时间序列预测场景中的应用带来了新的挑战，也使业内出现...
transformer变体 + 时间序列
wynn的博客
05-23 551
transformer 各种变体，用于处理时序问题
超越Transformer！基于Patch的时间序列预测新SOTA！
学姐带你玩AI的博客
03-12 3464
目前基于深度学习的时间序列预测主要有两大创新方向：一是模型结构创新，以informer为代表；二是数据输入创新，以PatchTST为代表。在多变量时序预测领域，Patch的使用是为了将时间序列数据转换成适合深度学习模型处理的形式。这有助于提高模型的处理能力和预测精度，同时也优化了模型的计算效率。受视觉启发，Patch是近年深度学习时间序列预测的研究新宠，近期提出的SOTA成果为此证明。
EVIEWS时间序列分析实践指南
本文将对用EVIEWS处理时间序列分析进行详细的讲解，包括时间序列的预处理、平稳时间序列建模、非平稳时间序列的确定性分析和随机分析等方面。 一、时间序列的预处理 时间序列的预处理是时间序列分析的重要步骤，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值