huggingface实现Autoformer时间序列深度分解与自相关预测模型

最新推荐文章于 2024-04-26 16:08:14 发布
VIP文章 最新推荐文章于 2024-04-26 16:08:14 发布
阅读量1k 收藏 16
点赞数 23
分类专栏： pytorch huggingface 深度学习 文章标签： transformers huggingface 人工智能 时间序列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42452134/article/details/136597307
版权

目录

引言

AutoformerConfig

参数详解

示例代码

AutoformerModel

参数

forward 方法参数

返回值

主要返回元素

示例代码

AutoformerForPrediction

参数

forward 方法参数

返回值

使用示例

引言

Autoformer是一种用于长期时间序列预测的模型，由Haixu Wu, Jiehui Xu, Jianmin Wang, Mingsheng Long提出。这种模型增强了传统的Transformer架构，使其成为一个深度分解架构，可以在预测过程中逐步分解趋势和季节性组件。

在实际应用中，如极端天气早期预警和长期能源消费规划，扩展预测时间是一个关键需求。此论文研究了时间序列的长期预测问题。以前基于Transformer的模型采用各种自注意力机制来发现长期依赖关系。然而，长期未来的复杂时间模式阻碍了模型发现可靠的依赖关系。此外，Transformer必须采用稀疏版本的点对点自注意力来提高长序列的效率，这导致了信息利用瓶颈。Autoformer通过一种新颖的分解架构和自相关机制突破了传统Transformer的限制。该设计将系列分解从预处理常规转变为深度模型的基本

最低0.47元/天 解锁文章
E寻数据
关注
  • 23
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
时间序列预测-Transformer,Informer,Autoformer,FEDformer复现结果
11-15
时间序列预测-Transformer,Informer,Autoformer,FEDformer复现结果
自动前 +「AutoFormer+」-crx插件
03-21
该扩展可以载入已保存的数据到表单。载入数据是自动的，而保存数据是手动的(只需要点击鼠标两次) AutoFormer +是一个简单的表格填充 一旦输入数据可以保存为模板，下次所有数据将自动填入表格中 另外，如果您想在同一表单中输入其他信息，则可以单击工具栏中的“AutoFormer +”图标，然后选择“保存所有字段”以另存为另一个模板。 对于自定义表单填充使用另一个插件：InFormEnter + 支持语言:Bahasa Indonesia,Bahasa Melayu,Deutsch,English,Français,Nederlands,Türkçe,català,dansk,eesti,español,italiano,polski,português (Brasil),português (Portugal),română,slovenský,suomi,svenska,čeština,Ελληνικά,български,русский,українська,עברית,فارسی‎,हिन्दी,বাংলা,தமிழ்,ไทย,‫العربية,中文 (简体),日本語,한국어
AutoFormer+-crx插件
04-02
语言:Bahasa Indonesia,Bahasa Melayu,Deutsch,English,Français,Nederlands,Türkçe,català,dansk,eesti,español,italiano,polski,português (Brasil),português (Portugal),română,slovenský,suomi,svenska,čeština,Ελληνικά,български,русский,українська,עברית,فارسی‎,हिन्दी,বাংলা,தமிழ்,ไทย,‫العربية,中文 (简体),中文 (繁體),日本語,한국어 该扩展可以载入已保存的数据到表单。载入数据是自动的，而保存数据是手动的(只需要点击鼠标两次) AutoFormer +是一个简单的表格填充。 一旦输入数据可以保存为模板，下次所有数据将自动填入表格中。 另外，如果您想在同一表单中输入其他信息，则可以单击工具栏中的“AutoFormer +”图标，然后选择“保存所有字段”以另存为另一个模板。对于自定义表单填充使用另一个插件：InFormE
TimesNet:时间序列预测的最新模型
deephub
10-13 4289
本文并不是要证明TimesNet有多好，因为不同的模型可能适应不同的任务，并且我们也没有进行超参数优化，我们介绍TimesNet的主要目的是他的思路，它不仅将cnn的架构引入了时间序列预测，并且还提供了一种周期性判别的新的思路，这些都是值得我们学习的。一如既往，每个预测问题都需要一个独特的方法和一个特定的模型，所以你可以在你的模型列表中增加一个TimesNet了。作者：Marco Peixeiro。
用于时间序列预测的最佳深度学习模型总结
数据派THU
07-08 2358
来源：数据STUDIO 本文约6700字，建议阅读11分钟 本文讨论了5种专门研究时间序列预测的深度学习体系结构。时间序列预测在最近两年内发生了巨大的变化，尤其是在kaiming的MAE出现以后，现在时间序列的模型也可以用类似MAE的方法进行无监督的预训练。Makridakis M-Competitions系列（分别称为M4和M5）分别在2018年和2020年举办（M6也在今年举办了）。对于那些不...
【代码分享】几个具有创新性的时间序列回归预测模型matlab代码，基于LSTM及改进算法
2302_81053261的博客
01-04 936
具体来说，我们把连续的几个时间步的数据作为一个输入序列，将该序列的下一时刻对应的数据作为该序列的输出。例如，对于一个输入序列x，其对应的输出为y，则x和y分别被用于LSTM网络的输入和目标输出。接下来，我们训练LSTM模型，进行预测，并反归一化预测结果。LSTM是一种长短期记忆神经网络，它可以对时间序列数据进行分析和预测，相较于传统时间序列模型，LSTM具有更好的表现。经过100个epoch的训练，每一次epoch使用的学习率（learning rate）为0.01，可以得到一个训练有素的LSTM模型。
huggingface transformer模型库使用(pytorch)
every place is the center of the universe
04-10 3097
huggingface transformer模型库使用(pytorch)
动手实战 | 使用 Transformers 包进行概率时间序列预测
Python数据挖掘
07-09 2864
正如时间序列研究人员所知，人们对“将基于 Transformer 的模型应用于时间序列”问题很感兴趣。传统 vanilla Transformer 只是众多基于注意力 (Attention) 的模型之一，因此需要向库中补充更多模型。目前没有什么能妨碍我们继续探索对多变量时间序列进行建模，但是为此需要使用多变量分布头来实例化模型。目前已经支持了对角独立分布，后续会增加其他多元分布支持。请继续关注未来的博客文章以及其中的教程。
Autoformer时间序列代码实战完整代码可直接运行
08-30
Autoformer时间序列代码实战完整代码可直接运行 代码+数据
基于Transformer的长时间序列代码汇总（Autoformer,PEDformer,Informer...等15个算法代码
06-11
基于Transformer的长时间序列代码汇总（Autoformer,PEDformer,Informer，Crossformer,ETSformer,Pyraformer,TimesNet,Reformer,DLinear等15个时间序列预测，分类算法代码汇总）含电力，ETT油温，外汇，病情，交通车...
时间序列预测模型实战案例(十)(个人创新模型)通过堆叠CNN、GRU、LSTM实现多元预测和单元预测
Snu77的博客
11-08 3655
本篇博客为大家讲解的是通过组堆叠CNN、GRU、LSTM个数，建立多元预测和单元预测的时间序列预测模型，其效果要比单用GRU、LSTM效果好的多，其结合了CNN的特征提取功能、GRU和LSTM用于处理数据中的时间依赖关系的功能。通过将它们组合在一起，模型可以同时考虑输入数据的空间和时间特征，以更好地进行预测。本篇实战案例中包括->详细的参数讲解、数据集介绍、模型框架原理、训练你个人数据集的教程、以及结果分析。同时本文章的代码进行开源，在本文中复制粘贴即可运行。同时结尾还有多篇实战案例分析，和数据分析的博客。
分享几个有创新的时间序列预测模型（附matlab代码）可以用来水小论文！！
2302_81053261的博客
11-11 437
柯西分布与标准的正态分布相似，为连续的概率分布，在原点处值较小，两端较为扁长，逼近零速率较慢， 因而相比于正态分布能产生更大的扰动。因此，利用柯西变异对麻雀位置更新中的个体进行扰动，从而扩大麻雀算法的搜索规模，进而提升算法跳出局部最优能力。包含LSTM（长短时记忆模型）与粒子群算法优化后的LSTM（PSOLSTM）以及量子粒子群算法优化后的LSTM（QPSOLSTM）的对比实验，可用于风电、光伏等负荷预测，数据为时间序列数据，为单输入单输出，更换数据简单，导入自己的数据即可使用，模型精确度高。
精选11篇顶会论文，深度学习时间序列预测模型汇总！（含2024最新）
2401_82426425的博客
01-24 3974
iTransformer在具有挑战性的真实数据集上实现了最先进的技术，增强了Transformer系列的性能、泛化能力以及对任意回溯窗口的利用，使其成为时间序列预测的基本支柱。本文提出了一种新的时间序列预测方法FEDformer，结合了Transformer和季节性趋势分解，以捕捉时间序列的全局趋势和细节结构。简述：本文提出了多层次解释神经网络（MLCNN），一种新的多任务深度学习框架，该模型结合了卷积神经网络和改进的编码器-解码器架构，通过融合不同时间点的预测信息来提升预测性能。
谷歌本周发布全新线性时间序列预测模型，再次反超Transformer
AI蜗牛车
04-21 2609
继之前针对Transformer在时间序列预测中真的有效吗、使用MLP打败复杂模型等研究后，谷歌在昨天发表了一篇最新的时间序列预测工作，提出了TiDE模型，整个模型没有任何注意力机制、RNN或CNN，完全由全连接组成。下面为大家介绍这篇工作的主要内容。论文标题：Long-term Forecasting with TiDE: Time-series Dense Encoder下载地址：https:...
linux 编译opencv遇到问题
123
04-26 116
linux 编译opencv遇到问题
TR6 - Transformer实战 单词预测
最新发布
Loser
04-26 548
实验做的还是比较简单的，Transformer模型中的编码器直接使用的是pytorch框架预定义好的模块，但是对于理解整个模型的训练过程还是非常有帮助的。在实验的过程中，发现torchtext模块也已经不在维护了，和计算机视觉不同，自然语言处理的模型的输入格式灵活多变，经常需要自己写代码调整，比如上面的data_process函数。
《Vid2Seq》论文笔记
Zssss12的博客
04-22 1111
在这项工作中，我们引入了Vid2Seq，这是一种多模态单阶段密集事件字幕模型，它在大规模可用的叙述视频上进行了预训练，Vid2Seq 架构使用特殊的时间标记(time tokens)增强了语言模型，使其能够同时预测同一输出序列中的事件边界和文本描述。这种统一的模型需要大规模的训练数据，这在当前的注释数据集中是不可用的。我们表明，通过将转录语音的句子边界重新表述为伪事件边界，并使用转录的语音句子作为伪事件字幕，可以利用未标记的叙述视频进行密集视频字幕。
informer与Autoformer 进行时间序列分类的区别
03-29
Informer和Autoformer都是用于时间序列分类的神经网络模型，但它们有以下区别： 1. 模型结构：Informer使用了多层注意力机制和自适应长度的Transformer结构，而Autoformer则使用了自适应多分辨率长短时记忆网络...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

E寻数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值