Informer算法原理与代码详解

于 2023-11-13 11:05:08 发布
阅读量342 收藏 2
点赞数 1
分类专栏： prediction 文章标签： 人工智能 深度学习
原文链接：https://blog.csdn.net/weixin_43423873/article/details/132009502
版权

Informer算法原理与代码详解

最近接到了时序方面的业务，对深度时序预测算法进行了学习，将在这里对算法原理和代码进行详细的解释，里面也有一些我对算法使用过程中的个人思考和想法，有问题可以提问，一起交流、学习。

论文地址
代码地址

一、前言

Informer是2021年时序领域的best论文，仔细阅读文章和代码会发现这篇文章的思路、论点和代码框架写的是真的好，让人看着赏心悦目，此后的时序预测算法也大多是在Informer的基础上进行的，包括输入输出的格式、特征编码的方式等

二、论文出发点和创新点

图1 Informer整体框架
在这里插入图片描述

三、论文细节

Efficient Self-attention Mechanism（概率稀疏注意力）

在这里插入图片描述
在这里插入图片描述

如何定义和寻找"Lazy query"

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Encoder

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Decoder

在这里插入图片描述
图13中给出的是Decoder的结构
在这里插入图片描述
在这里插入图片描述

Informer前向传播

在这里插入图片描述
在这里插入图片描述

个人使用感受

在这里插入图片描述

文章知识点与官方知识档案匹配，可进一步学习相关知识
算法技能树首页概览 54606 人正在系统学习中
breeze_csdn
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Informer(信息提取网络)实现时间序列预测(PyTorch版)
CSDN 精品推荐
04-26 4453
Informer是一种基于Transformer的时间序列预测模型，它能够有效地处理具有多种时间尺度和复杂性的时间序列数据。与传统的时间序列模型（如ARIMA、LSTM等）不同，Informer利用了Transformer的自注意力机制和多头注意力机制，能够同时捕捉全局和局部的时间相关性。
Informer的时间序列预测完整代码数据
05-18 2967
Informer的时间序列预测完整代码数据
Informer：比Transformer更有效的长时间序列预测
To be a better man
05-23 8850
目录 AAAI 2021最佳论文：比Transformer更有效的长时间序列预测 Background Why attention Methods:the details of Informer Solve_Challenge_1:最基本的一个思路就是降低Attention的计算量，仅计算一些非常重要的或者说有代表性的Attention即可，一些相近的思路在近期不断的提出，比如Sparse-Attention，这个方法涉及了稀疏化Attention的操作，来减少Attention计算量，然后涉及的
Informer模型实战案例(代码+数据集+参数讲解)
11-10
本篇博客带大家看的是Informer模型进行时间序列预测的实战案例，它是在2019年被提出并在ICLR 2020上被评为Best Paper，可以说Informer模型在当今的时间序列预测方面还是十分可靠的，Informer模型的实质是注意力机制+Transformer模型，Informer模型的核心思想是将输入序列进行自注意力机制的处理，以捕捉序列中的长期依赖关系，并利用Transformer的编码器-解码器结构进行预测，通过阅读本文你可以学会利用个人数据集训练模型。Informer是一种用于长序列时间序列预测的Transformer模型,但是它与传统的Transformer模型又有些不同点，与传统的Transformer模型相比，Informer具有以下几个独特的特点： 1. ProbSparse自注意力机制：Informer引入了ProbSparse自注意力机制，该机制在时间复杂度和内存使用方面达到了O(Llog L)的水平，能够有效地捕捉序列之间的长期依赖关系。 2. 自注意力蒸馏：通过减少级联层的输入，自注意力蒸馏技术可以有效处理极长的输入序列，提高了模型处理长序列的能力
informer-lightning:基于PyTorch Lightning的Informer的重组实现
04-08
告密者闪电 这是基于和PyTorch Lightning重组后的。 要求 麻木 大熊猫 scikit学习 火炬 炬度法 火炬闪电 模型训练 请参阅scripts/文件夹中的bash脚本。
python-informer
03-22
通过dbus函数调用以通过gtalk发送消息的简单脚本。
informer-web:Web面向Informer
03-14
informer-web:Web面向Informer
Transformer框架时间序列模型Informer内容与代码解读
Allen_人工智能与大数据
05-29 1万+
Transformer框架时间序列模型Informer内容与代码解读。详细介绍概括了顶会论文AAAI‘21 Best Paper的核心内容。
时间序列深度学习模型AAAI 2021论文之一Informer的主要代码解读、项目运作、自定义数据集使用
热门推荐
酒心★
09-28 3万+
一、前言 本文章是对informer开源代码进行自定义数据集（就是如何修改代码以跑通自己的数据集，毕竟原代码仓库没有注释）的使用的代码修改和代码流程解释。 二、informer相关 论文：https://arxiv.org/abs/2012.07436 代码仓库：https://github.com/zhouhaoyi/Informer2020 简介：据网上说是被评为AAAI 2021最佳论文，其作者设计了一种专为LSTF （长序列时间序列预测）设计的基于Transformer的改进模型 Informer
Informer模型实战案例(代码+数据集+参数讲解)ProbSparse自注意力机制
11-15
1. ProbSparse自注意力机制：Informer引入了ProbSparse自注意力机制，该机制在时间复杂度和内存使用方面达到了O(Llog L)的水平，能够有效地捕捉序列之间的长期依赖关系。 2. 自注意力蒸馏：通过减少级联层的输入，自注意力蒸馏技术可以有效处理极长的输入序列，提高了模型处理长序列的能力
时间序列预测-Transformer,Informer,Autoformer,FEDformer复现结果
11-15
时间序列预测-Transformer,Informer,Autoformer,FEDformer复现结果
基于Transformer的长时间序列代码汇总（Autoformer,PEDformer,Informer...等15个算法代码
06-11
基于Transformer的长时间序列代码汇总（Autoformer,PEDformer,Informer，Crossformer,ETSformer,Pyraformer,TimesNet,Reformer,DLinear等15个时间序列预测，分类算法代码汇总）含电力，ETT油温，外汇，病情，交通车流量，天气等数据集
Informer代码详细注释版
10-09
逐行注释，十分详细！ ## <span id="citelink">Citation</span> If you find this repository useful in your research, please consider citing the following paper: ``` @inproceedings{haoyietal-informer-2021, author = {Haoyi Zhou and Shanghang Zhang and Jieqi Peng and Shuai Zhang and Jianxin Li and Hui Xiong and Wancai Zhang}, title = {Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecas
PyTorch基于改进Informer模型的锂电池SOC估计（完整源码和数据）
最新发布
01-31
PyTorch基于改进Informer模型的时间序列预测（锂电池SOC估计）（完整源码和数据） 时序预测 | PyTorch基于改进Informer模型的时间序列预测，锂电池SOC估计 时间序列预测：informer改进模型（Fourier-Mixed Window Informer 采用傅里叶混合窗口注意力机制加速）实现高精度长期预测,PyTorch框架实现。 PyTorch基于改进Informer模型的时间序列预测（锂电池SOC估计）（完整源码和数据） 时序预测 | PyTorch基于改进Informer模型的时间序列预测，锂电池SOC估计 时间序列预测：informer改进模型（Fourier-Mixed Window Informer 采用傅里叶混合窗口注意力机制加速）实现高精度长期预测,PyTorch框架实现。
informer时间序列预测
01-29
支持多步多变量输入，多步预测输出。 可以直接运行，代码简单。
时间序列之：多步预测、长序列预测——Informer / ARIMA
yanghe4405的博客
06-05 4350
多步预测是指根据已知的时间序列数据预测未来多个时间步长的值。在ARIMA模型中，可以使用预测函数进行多步预测。Informer是一种用于时间序列预测的神经网络模型，旨在解决长序列预测中的挑战，如长期依赖性和变长序列。它结合了自注意力机制、卷积神经网络和传统的循环神经网络，以提高时间序列预测的准确性和效率。Informer模型的核心思想是将输入序列分成不同的时间段，然后通过编码器-解码器结构进行建模。编码器部分使用自注意力机制和卷积层来捕捉序列内部的长期依赖关系和局部模式。
时间序列预测 | Python实现Informer模型时间序列预测
前程算法屋的博客
04-14 6347
时间序列预测 | Python实现Informer模型时间序列预测 目录时间序列预测 | Python实现Informer模型时间序列预测基本介绍模型结构程序设计学习总结 基本介绍 序列预测在现实中比较基础但又十分重要的研究场景，如商品销量及库存的预测，未来某个时刻某只股票的价格，疾病的传播及扩散预测等。而长序列预测（Long Sequence Time-Series Forecasting，以下称为 LSTF）方面的工作因为其历史数据量大、计算复杂性高、预测精度要求高更是成为序列预测研究的热点，但一直以
【时间序列预测】Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting (第一篇)
博观约取，厚积薄发
05-27 1452
论文链接：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. 摘要 许多真实世界的应用需要对长序列时间序列进行预测，如用电规划。长序列时间序列预测(Long sequence time-series forecasting LSTF)对模型的预测能力提出了很高的要求，即能够有效地捕捉输出和输入之间精确的长期依赖耦合（long-range dependency coupling）。最近的研...
informer算法pytorch
12-17
informer算法是一种基于pytorch框架实现的预测模型，它是一种用于时间序列预测的神经网络模型。该算法能够有效地学习时间序列数据的特征和模式，从而实现对未来数据的准确预测。 在pytorch中，我们可以利用该框架的丰富的工具和库来实现informer算法。首先，我们可以利用pytorch提供的模型定义和训练工具，构建informer模型的网络结构，并通过定义损失函数和优化器来训练模型。同时，pytorch还提供了丰富的数据处理工具，可以帮助我们对时间序列数据进行预处理和特征提取，为模型提供更好的输入数据。 另外，在pytorch中，我们还可以利用其提供的可视化工具和调试工具，对模型的训练过程进行监控和调整，以保证模型的性能和效果。此外，pytorch还支持在不同硬件设备上进行模型的部署和加速运算，从而让informer算法更加灵活和高效。 总之，借助pytorch框架，我们可以更加方便地实现和优化informer算法，为时间序列预测提供更好的解决方案。通过充分利用pytorch提供的各种功能和工具，我们可以更加高效地开发和部署informer模型，从而实现更加准确和可靠的时间序列预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值