Are Transformers Effective for Time Series Forecasting?|填坑

最新推荐文章于 2024-06-02 18:21:33 发布
最新推荐文章于 2024-06-02 18:21:33 发布
阅读量1.5k 收藏 5
点赞数 1
分类专栏： 时间序列分析 文章标签： 人工智能 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43332715/article/details/126006960
版权

论文: Are Transformers Effective for Time Series Forecasting?

代码： https://github.com/cure-lab/DLinear

        正如这篇标题一样引人注目，Transformer在时序预测里面真的有效吗？这篇论文在Abstract就质疑了Transformer-based的TSF解决方案的相对高精度不是其结构提取时序特征的能力，相反认为是DMS(Direct-multi-step)预测策略的功劳，然后提出了一种结构简单的模型Dlinear（Decomposition Linear Model）,说实话看到各种former的变形，能出一篇这种文章真不错，借用一网友的评价，重剑无锋,大巧不工，这篇论文工作真不错，来自香港中文大学的几个学生。

Transformer用于时间序列预测任务真的有效吗？ - 知乎 //中文翻译有自己的见解，评论区也很精彩

Are Transformers Effective for Time Series Forecasting?_哔哩哔哩_bilibili//这个深圳大学的哥们儿讲的挺不错，比较基础

一些论文中的学术名词解释 

【深度学习】关于Permutation Invariant的解释_Yo3ngLau的博客-CSDN博客

思考实践
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
时间序列分析 | Python实现Transformers时间序列预测时间序列预测（Exponential Smoothing Transformers）
前程算法屋的博客
01-12 978
时间序列分析 | Python实现Transformers时间序列预测时间序列预测（Exponential Smoothing Transformers）
Time-Series-Analysis-Tutorial:时间序列分析教程
05-10
时间序列分析——分类与预测教程 作者：datamonday 贡献者：datamonday Github： CSDN： 初次发布：2020-04-17 最后修改：2021-04-06 [toc] 前言 :stopwatch:最一段时间都在学习时间序列预测和时间序列分类相关的...
Transformer在时间序列预测中不如线性模型？ICLR 2023最新回应来了！
AI蜗牛车
03-07 1116
自从时间序列预测论文Are transformers effective for time series forecasting?（2022）中以一个简单模型打败了复杂的Transformer模型后，关于Transformer是否适用于时间序列预测任务成为学术界一个主要争论点。ICLR 2023上的一篇文章ATIME SERIES IS WORTH 64 WORDS: LONG-TERM FOR...
【时间序列预测】Are Transformers Effective for Time Series Forecasting?
博观约取，厚积薄发
06-06 1506
最近，基于Transformer 的时间序列预测(TSF)任务解决方案激增，特别是具有挑战性的长期TSF问题。Transformer 架构依靠 self-attention 有效提取长序列中成对元素之间的语义关联，这种关联具有一定的排列不变性和“反排序”特性（permutation-invariant and “anti-ordering”）。然而，在时间序列建模中，我们要提取连续点的有序集合之间的时间关系。因此，基于Transformer 的技术是否是“长期”时间序列预测的正确解决方案是一个值得研究的有趣
Are Transformers Effective for Time Series Forecasting?（机翻部分段落
weixin_50699250的博客
07-25 1396
Are Transformers Effective for Time Series Forecasting?（机翻部分段落
【论文阅读】2022 (LTSF-Linear) Are Transformers Effective for Time Series Forecasting?
mataolc的博客
03-05 554
论文提出了使用简单的线性模型来进行时间序列预测，效果超过了Transformer-based SOTA模型效果。长时序预测(LTSF)领域最近出现了很多Transformer-based 模型，由于Transformer是基于自注意力机制来有效提取长序列中成对元素之间的语义相关性的，在一定程度上具有permutation-invariant和anti-ordering的性质。而对于时间序列建模，主要是提取一系列有序且连续的点的时间相关性，因此顺序往往很重要。
Are Transformers Effective for Time Series Forecasting论文全文翻译
一只在cv道路上爬行的小乌龟~
06-15 1388
最近，针对长期时间序列预测（LTSF）任务的基于Transformer的解决方案激增。尽管在过去几年中取得了越来越大的成绩，但我们对这项工作中这一研究路线的有效性提出了质疑。具体来说， Transformers可以说是提取长序列中元素之间语义相关性的最成功的解决方案。然而，在时间序列建模中，我们需要提取连续点的有序集合中的时间关系。虽然采用位置编码和使用标记来将子序列嵌入到 transformer中有利于保留一些排序信息，但是置换不变的自注意机制的性质不可避免地导致时间信息丢失。
论文笔记：Are Transformers Effective for Time Series Forecasting?
qq_40206371的博客
02-27 1474
可以看到Linear/DLinear/NLinear效果比Transformer的好。逐渐将Informer中的组成部分替换成Linear，发现性能随着逐步简化，而不断提高。可以看到有些基于Transformer的模型在回望窗口增大时性能会恶化或保持不变。相比之下，所有LTSF Linear的性能都随着输入窗口大小的增加而显著提高。直接将N*T的输入序列，通过一个线性层，输出到N*T'的输出序列。Ori是一个完整的数据，Short是截断了的数据。在这里，增加了数据，反而模型效果降低了。
ETSformer: Exponential Smoothing Transformers for Time-series Forecasting
qq_59482564的博客
12-26 1118
本文研究者提出的 ETSformer 是对 Autoformer 模型构建思路的进一步改进，通过指数平滑的这种传统时序方法，不仅有更好的效果，同时也具有良好的可解释性。
华为最新提出的时序预测Mixers，取代Transformer实现效果速度双提升
AI蜗牛车
02-25 2411
华为最近发布了一篇最新的多元时间序列预测文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了attention结构，不仅实现了效果上的提升，也大大简化了模型结构。1Transformer的探讨Transformer在时间序列预测中的作用最近得到比较多的探讨。在Are transformers effective for time series forecasting?（2022）这篇文章中，就...
Transformers for Natural Language Processing.pdf
11-12
图书简介 该书将带您学习使用Python的NLP，并研究了由Google，Facebook，Microsoft，OpenAI和Hugging Face等先驱者创建的变压器体系结构中的各种杰出模型和数据集。 这本书分三个阶段训练您。...
Transformers_for_Text_Classification：基于Transformers的文本分类
02-03
Transformers_for_Text_Classification基于Transformers的文本分类基于最新的出品的v2.2.2代码进行重构。为了保证代码日后可以直接复现而不出现兼容性问题，这里将放到本地进行调用。强调支持transformer模型后接...
transformers-for-natural-language-processing
03-09
自然语言处理变压器
深度学习+BoxeR:Box-Attention for 2D and 3D Transformers
02-18
阅读《BoxeR:Box-Attention for 2D and 3D Transformers》论文后，并参考了网络上的一些资料，做了一个论文分享ppt
据说，Transformer 不能有效地进行时间序列预测？
Hugging Face
07-04 609
简介几个月前，我们介绍了 Informer 这个模型，相关论文 (Zhou, Haoyi, et al., 2021) 是一篇获得了 AAAI 2021 最佳论文奖的时间序列论文。我们也展示了一个使用 Informer 进行多变量概率预测的例子。在本文中，我们讨论以下问题: Transformer 模型对时间序列预测真的有效吗？我们给出的答案是，它们真的有效。首先，我们将会提供一些实验证据，展示其...
强化学习——学习笔记
qq_52302919的博客
05-27 1417
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
pytorch学习笔记5
最新发布
drarad的博客
06-02 827
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
AI开发初体验：昇腾加持，OrangePi AIpro 开发板
上周的博客
05-27 1348
因为工作需要，以及个人兴趣，本人经常购买开发板进行调试、学习，但具备AI计算的开发板，本人尚未体验过，究其原因，是因为自觉知识储备可能无法胜任AI的开发工作。然而，在体验了OrangePi AIpro 开发板之后，却大大改变了我的看法——AI时代，真的已经来临！OrangePi AIpro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其内置华为昇腾 AI 处理器，作为国产AI 芯片翘楚，实乃开发板的一大亮点！
Do Transformers Really Perform Bad for Graph Representation?
04-10
As an AI language model, I do not have personal opinions or beliefs, but according to recent research, Transformers can perform well for graph representation tasks when properly designed and adapted ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值