AAAI2021最佳论文InFormer阅读

最新推荐文章于 2023-02-11 23:59:29 发布
VIP文章 最新推荐文章于 2023-02-11 23:59:29 发布
阅读量508 收藏 2
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35780315/article/details/117259850
版权

本文根据作者在AIDrive上的分享和自己对论文的一些理解，整理而成。

这篇论文主要解决长序列预测问题。

作者认为以前的很多工作其实关注的是长序列输入学习问题（Long Sequence Input Learning Problem)，更关心在输入上的表征，更注重加强模型在处理大量输入时的能力
在这里插入图片描述
而长序列预测问题，更关心输出的准确性，最主要的事情是建立长序列输入和长序列输出的映射或者Attention
在这里插入图片描述
Motivation:为什么要选择注意力机制
Attention机制在处理信息时不会关注全局信息，而是关注更加值得注意的部分

Transformer使用自注意力机制
Transformer能否用于长序列预测问题？

原生Transformer无法支持长序列输入和长序列输出，在计算Attention会计算点和所有点之间的距离&#

最低0.47元/天 解锁文章
前方是海洋
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Informer2020:AAAI 2021接受论文“ Informer”的GitHub存储库
03-10
告密者：用于长序列时间序列预测的超越高效变压器（AAAI'21最佳论文） 这是以下文章中Informer的原始Pytorch实现： 。 特别感谢 Jieqi Peng @ 建立此存储库。 :triangular_flag: 新闻（2021年2月22日）：我们提供...
论文解读10——Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
对流层的酱猪肘~的博客
12-18 910
这篇是2021年AAAI的best paper，主要提出了Informer模型来解决Transformer中无法用于长时间序列预测的问题，提高了长时间序列预测问题的能力。
解读AAAI 2021最佳论文：Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting
m0_61684577的博客
11-17 1575
许多实际应用需要长序列时间序列的预测，如电力消耗计划。长序列时间序列预测(LSTF)要求模型具有较高的预测能力，即能够有效地捕捉输出和输入之间精确的远程依赖耦合。最近的研究显示了Transformer在提高预测能力方面的潜力。然而，Transformer存在一些严重的问题，使其无法直接应用于LSTF，包括二次元时间复杂度、高内存使用量和编码器-解码器体系结构的固有限制。
AAAI最佳论文Informer 解读
热门推荐
fluentn的博客
04-02 3万+
AAAI最佳论文Informer:效果远超Transformer的神器简介预处理 Preliminary 与样本生成Step1:Embedding待更新 2021/04/02 由于Informer主要是在Transformer上的改进，这里不再赘述Transformer的细节，可以参见另外的博文，可以推荐两个。 深入理解Transformer及其源码解读 最火的几个全网络预训练模型梳理整合（从ELMO到BERT到XLNET） 简介 那么Informer是做什么的呢？ 主要针对长序列预测（Long Seque
【时间序列】AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器！
AI蜗牛车
02-07 4700
炼丹笔记干货作者：一元，四品炼丹师Informer:最强最快的序列预测神器01简介在很多实际应用问题中，我们需要对长序列时间序列进行预测，例如用电使用规划。长序列时间序列预测（LSTF...
AAAI 2021上与【对比学习】相关论文（五篇）
01-06
近期，所有paper list 放出，本文发现对比学习（Contrastive Learning）相关的投稿paper很多，这块研究方向这几年受到了学术界的广泛关注，并且在CV、NLP等领域也应用颇多。
AAAI 2020最佳论文公布【Best paper】.zip
02-08
日前，AAAI 2020最受瞩目的各大奖项已公布，最佳论文来自华盛顿大学艾伦人工智能研究所，最佳学生论文来自南洋理工大学、清华大学、香港大学的合作。
AAAI2023 会议论文集合（Oral）
02-14
AAAI2023 会议论文集合（Oral），包括了论文分类和论文名字，作者列表。共42页
SCNet:AAAI 2021论文代码“ SCNet
05-24
网络 介绍 我们提供用于再现实验结果的。 强调： SCNet解决了现有的级联方法用于实例分割的训练推断样本... ... ... 可以使用众所周知的插件和技巧（例如Group Norm，DCN，多尺度培训/测试）来进一步改善此功能。...│ ├── c
Informer讲解PPT介绍【超详细】--AAAI 2021最佳论文：比Transformer更有效的长时间序列预测
weixin_44790306的博客
06-13 5970
本章再次重温informer 的重点细节，对Informer模型的问题背景与应用数据场景有了更进一步理解，按作者的表达，适用于具有周期性的数据集，适合做一个较长的时序预测，如果过于短期的预测反而不能很好的体现informer应有的性能。继续从三大挑战出发，提出三点对应的处理方法，从数学推导到实际模型验证的过程。以及论文源码中出现的一些小技巧的学习，比如 EarlyStopping的原理与使用技巧。Reference： 1.细读informer与项目学习 2. 类Transformer模型的长序列分析预测新方
AAAI 2023大奖出炉！北大等国内机构斩获杰出学生论文！
阿木寺的博客
02-11 3191
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：机器之心刚刚，AAAI 2023 大会公布了今年的杰出论文奖、杰出学生论文奖等重要奖项。AAAI 全称为国际先进人工智能协会 (Association for the Advancement of Artificial Intelligence)，是人工智能和机器学习领域的顶级会议，据最...
深度学习（李宏毅）——RNN
weixin_44204511的博客
10-22 1319
循环神经网络 将词汇用向量表示 1-N Encoding 如果遇到没有的词汇，1-N Encoding没法表示，再加上一个other类别，将所有没出现的词汇归到other类别里 Recurrent Neural network(RNN) 循环神经网络 每一hidden layer的neuron产生的output会存起来，影响下一个nueron的计算。 输入相同的值，由于memory里面存的不一样，输出会不同，跟输入的顺序也有关系。 例子 两处输入相同的词Taipei，使用同一个network，但由于在
时间序列深度学习模型AAAI 2021论文之一Informer的主要代码解读、项目运作、自定义数据集使用
酒心★
09-28 3万+
一、前言 本文章是对informer开源代码进行自定义数据集（就是如何修改代码以跑通自己的数据集，毕竟原代码仓库没有注释）的使用的代码修改和代码流程解释。 二、informer相关 论文：https://arxiv.org/abs/2012.07436 代码仓库：https://github.com/zhouhaoyi/Informer2020 简介：据网上说是被评为AAAI 2021最佳论文，其作者设计了一种专为LSTF （长序列时间序列预测）设计的基于Transformer的改进模型 Informer
Informer：AAAI2021 最佳论文整理
zsycode的博客
04-14 1367
前言 本文是在Transformer的基础上进行的改进，首先作者提出Transformer在长时间序列预测中的三个局限性： 自注意力的二次计算复杂度O(L2)O(L^2)O(L2)（L表示输入序列的长度） 堆叠J层编码器（解码器）后会是内存使用量达到O(JL2)O(JL^2)O(JL2)，这限制了模型接收长序列输入的可伸缩性 Transformer解码器中step-by-step推断流程，会导致在预测长输出时速度急剧下降 Transformer 既然是在Transformer的基础上，就先了解下Tran
AAAI2021论文
yang_daxia的博客
02-02 1250
Distilling Localization for Self-Supervised Representation Learning 探索了自监督表征学习中的目标定位问题。分类任务中，目不同目标具有相似的背景。作者使用显著性检测，提取前景信息，替换不同的背景做数据增强，提高了模型的表征能力。 参考：https://mp.weixin.qq.com/s/UexYEkLYkn0pzSgteeD5sw ...
效果远超Transformer！AAAI 2021最佳论文Informer：最强最快的序列预测神器
阿木寺的博客
02-06 1841
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文转载自：炼丹笔记作者：一元，四品炼丹师Informer:最强最快的序列预测神器01简介在很多实际应用问题中...
AAAI 2021最佳论文奖出炉
zandaoguang的博客
02-06 1523
视学算法报道机器之心编辑部第 35 届 AAAI 人工智能会议已于 2 月 2 日在线上召开。在刚刚举行的开幕式上，组委会颁发了今年的最佳论文奖和提名奖，分别有三篇论文获奖。其中来自北航的...
informer解读
最新发布
07-28
- *1* *2* [Informer讲解PPT介绍【超详细】--AAAI 2021最佳论文：比Transformer更有效的长时间序列预测](https://blog.csdn.net/weixin_44790306/article/details/125154852)[target="_blank" data-report-click={...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值