【论文复现】基于深度学习的高效时序预测

于 2024-12-29 08:00:00 发布
阅读量854 收藏 40
点赞数 19
分类专栏： 传知代码 文章标签： 深度学习 人工智能 python 数据挖掘 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/EterNity_TiMe_/article/details/144758106
版权

在这里插入图片描述

📝个人主页🌹：Eternity._
🌹🌹期待您的关注 🌹🌹

在这里插入图片描述
在这里插入图片描述

❀ 基于深度学习的高效时序预测

概述

2022年，清华大学软件学院的学者提出了Autoformer:用于长期时间序列预测的自相关分解Transformer延长预测时间是实际应用的关键需求，如极端天气预警和长期能耗规划。本文研究了时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种自注意力机制来发现长期依赖关系。然而，长期未来复杂的时间模式禁止模型找到可靠的依赖关系。本文通过对Transformer进行改进，通过序列分解和全新的自相关机制对时序数据进行建模，在各种公开的数据集上达到了很好的效果
代码转载自 Autoformer

一、论文思路

为了解决长期未来复杂的时间模式，作者将Autoformer作为分解体系结构，通过设计内部分解模块，使深度预测模型具有内在的渐进分解能力。同时作者提出了一种在序列级别上具有依赖关系发现和信息聚合的自相关机制。我们的机制超出了以前的自注意力家族，可以同时提高计算效率和信息利用率。

本文所涉及的所有资源的获取方式：这里

二、论文模型

作者改进了经典的Transformer模型，包括内部序列分解块、自相关机制以及相应的编码器和解码器。
(1).作者首先通过原数据减去池化平均项，获得分解项备用
(2).编码器，待训练的原始时序数据经过自相关机制，时序分解模块，前馈神经网络以及再一次时序分解模块获得编码器的结果，其中，从输入到第一个时序分解和从第一个时序分解模块到最后一个有一个残差连接。
(3).解码器，将(1)中获得的分解项和(2)的输出结果一并输入到解码器中，解码器会经过两次自相关机制和时序分解，在第二次自相关中会接受来自编码器的输出和自身模型前一个阶段的输出同时作为输入。最后经过前馈网络和序列分解。其中每一个序列分解都会加入原始的序列数据作为残差连接。
在这里插入图片描述

三、实现方法

1.TimesDecomp
主要是对原始项进行池化得到池化项，在相减获得剩余项，由此进行序列分解

在这里插入图片描述
2Auto-Correlation
作者提出了具有串联连接的自相关机制来扩展信息利用率。自相关通过计算序列自相关来发现基于周期的依赖关系，并通过时间延迟聚合聚合相似的子序列。

在这里插入图片描述
类似Transformer 输入的数据经过Linear层变换得到Query,Key,Value.不同于attention机制，Q,K经过快速傅里叶变换后 K经过共轭操作和Q相乘后，经过傅里叶反变换，和V做 time delay agg 操作。
3.time delay agg操作基于所选时间延迟τ1，···，τk对序列进行滚动。该操作可以对齐在估计周期的同一相位位置相似的子序列，这与自我注意家族中的逐点点积聚合不同。最后，我们通过 softmax 归一化置信度聚合子序列。

在这里插入图片描述
4.前馈网络（FFN）：与前向传播类似，包含多层感知机(MLP)和归一化层(LN)。
损失函数：L1 loss 和 L2 loss,或二者结合。

四 复现论文

在这里插入图片描述
论文中的结果显示该模型的效果非常好。

使用方式

代码结构

在这里插入图片描述
总程序入口在 run.py,运行之前注意请新建一个 data的文件夹，把需要训练的数据放进文件夹中：

在这里插入图片描述
相关的数据位于
Google Drive中。注意科学上网。

附件中也包含数据。
作者准备了相关脚本，直接运行即可一键训练，开箱即用
bash ./scripts/ETT_script/Autoformer_ETTm1.sh
bash ./scripts/ECL_script/Autoformer.sh
bash ./scripts/Exchange_script/Autoformer.sh
bash ./scripts/Traffic_script/Autoformer.sh
bash ./scripts/Weather_script/Autoformer.sh
bash ./scripts/ILI_script/Autoformer.sh
注意如果需要使用论文以外的数据，请保证数据是csv格式，且在 data_provider/data_loader.py 中进行类的改写
如果不想采用脚本，可以通过以下命令启动程序：

python -u run.py \
  --is_training 1 \ ##是否训练
  --root_path ./dataset/ETT-small/ \ 数据集类型
  --data_path ETTh1.csv \ ##数据文件
  --model_id ETTh1_96_24 \ ##模型id
  --model Autoformer \
  --data ETTh1 \ ##数据类型
  --features M \ ##数据特征维度
  --seq_len 96 \ ##输入长度
  --label_len 48 \ ##标签长度 该项不得高于 seq_len
  --pred_len 24 \  ##预测长度
  --e_layers 2 \  ## 编码器层数
  --d_layers 1 \  ## 解码器层数
  --factor 3 \ 
  --enc_in 7 \ ## 编码器特征维度
  --dec_in 7 \ ## 解码器特征维度
  --c_out 7 \ ##输出维度
  --des 'Exp' \
  --itr 1   ## 训练epochs

训练演示截图

在这里插入图片描述
训练结果，使用的ETTm2 数据集可以看到和论文中的数字相差不大

在这里插入图片描述

部署方式

Python 3.6, PyTorch 1.9.0. 相关库在requirements.txt中

编程未来，从这里启航！解锁无限创意，让每一行代码都成为你通往成功的阶梯，帮助更多人欣赏与学习！

更多内容详见：这里

时序预测：多头注意力+宽度学习
程序猿追的博客
09-29 830
他们通过列举之前的研究表明，带有注意力机制的模型可以通过捕获一部分语义信息来确保信息的有效性，从而在不同层次捕获丰富的信息。然后，重新构建的混沌时间序列数据被BLS的特征层和增强层随机映射并增强到高维系统，从而生成含有不同模式的混沌时间序列的混合特征。在上面的多头注意力层中，我们手动搭建了一个多头注意力层，并复现了论文中的前馈网络层。因此，作者提出了使用宽度学习系统（BLS）来扩展混沌时间序列数据的维度，并引入多头注意力机制来提取不同级别的语义信息，包括线性和非线性相关性、混沌机制和噪声。
基于深度学习的高效时序预测
程序猿追的博客
09-27 766
(3).解码器，将(1)中获得的分解项和(2)的输出结果一并输入到解码器中，解码器会经过两次自相关机制和时序分解，在第二次自相关中会接受来自编码器的输出和自身模型前一个阶段的输出同时作为输入。(2).编码器，待训练的原始时序数据经过自相关机制，时序分解模块，前馈神经网络以及再一次时序分解模块获得编码器的结果，其中，从输入到第一个时序分解和从第一个时序分解模块到最后一个有一个残差连接。自相关通过计算序列自相关来发现基于周期的依赖关系，并通过时间延迟聚合聚合相似的子序列。论文中的结果显示该模型的效果非常好。
【论文分享】ICLR 2024 | iTransformer：倒置Transformer在时间序列预测中效果显著
最新发布
m0_52597077的博客
11-29 3796
近期线性预测模型的兴起，引发了对基于 Transformer 的预测模型的架构修改热潮的质疑。此类模型利用 Transformer 来建模时间序列的时间令牌中的全局依赖关系，其中每个令牌由同一时间戳的多个变量组成。然而，Transformer 在处理具有较大回顾窗口的时间序列时表现不佳，性能下降且计算量急剧增加。此外，每个时间令牌的嵌入融合了多个不同变量，这些变量可能代表潜在的延迟事件和不同的物理测量，导致难以学习变量中心的表示，进而生成无意义的注意力图。
一文深度学习建模预测全流程(Python)
算法进阶
11-13 6103
本文详细地梳理及实现了深度学习模型构建及预测的全流程，代码示例基于python及神经网络库keras，通过设计一个深度神经网络模型做波士顿房价预测。主要依赖的Python库有：keras、scikit-learn、pandas、tensorflow（建议可以安装下anaconda包，自带有常用的python库） 一、基础介绍 机器学习 机器学习的核心是通过模型从数据中学习并利用经验去决策。进一步的，机器学习一般可以概括为：从数据出发，选择某种模型，通过优化算法更新模型的参数值，使任务的指标表现变好（学习
⌈ 传知代码 ⌋ 基于深度学习的高效时序预测
Dream_Y.ocean的博客
08-09 740
2022年，清华大学软件学院的学者提出了Autoformer:用于长期时间序列预测的自相关分解Transformer延长预测时间是实际应用的关键需求，如极端天气预警和长期能耗规划。本文研究了时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种自注意力机制来发现长期依赖关系。然而，长期未来复杂的时间模式禁止模型找到可靠的依赖关系。本文通过对Transformer进行改进，通过序列分解和全新的自相关机制对时序数据进行建模，在各种公开的数据集上达到了很好的效果综上，我们基本了解了。
深度学习 股市预测
12-25
深度学习 股市预测，与AR（10）模型进行对比，数据是韩国股价
2019年深度学习的十大预测
云栖社区
01-29 1075
摘要：如果连思考方式都是错的，机器学习肯定不会有很大的进步！2018年已结束，现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾：关...
深度学习复盘与论文复现C
QuantumYou的博客
06-09 1177
RNN（Recurrent Neural Network，循环神经网络）是一种具有“记忆”功能的神经网络，它特别适合处理序列数据，如文本、语音、时间序列等。RNN通过在其内部结构中引入循环，使得网络能够捕捉序列中的时间依赖性和动态性。RNN 的公式表示在 RNN 中，隐藏状态 和输出 的计算通常使用以下公式：其中：RNN 的问题尽管 RNN 在处理序列数据方面非常有效，但它也面临一些问题：RNN 的变体为了解决这些问题，研究人员提出了 RNN 的多种变体，其中最著名的是 LSTM（Long Short-
深度学习复盘与论文复现E
QuantumYou的博客
07-21 1476
NS模块是一个标准的编码器，包含四个1-D卷积层，分别有1024、512、128和32个内核。MTB模块的最终输出包括三个时序特征图集，每个时序特征图集由1024个特征图组成，大小为1×4×4。最后，将每个特征映射集转换为2048维的一维潜在特征向量，从而形成DFE模块的输入。抑郁症识别模型：采用的GAT模型包含一个GAT层，一个读出层和三个FC层，附加RLU激活函数。：对于AVEC2013和AVEC2014数据集的实验，使用了由三个ResNet-.50网铬组成的MTB模块，这。MTB_DFE运行结果。
【论文解读系列】Kaggle经验-时间预测序列和深度学习模型的关系
m0_73776435的博客
08-14 823
与深度神经网络（DNN）模型类似，该文作者通过将时间序列预测任务转化为一个基于窗口的回归问题，对GBRT模型的输入和输出结构进行了特征设计，例如，对于每个训练窗口，目标值与外部特征相连接，然后扁平化形成一个多输出GBRT模型的输入实例。模型是本研究中最新的DNN方法，通过将用于局部处理的递归层与捕捉数据中长期依赖关系的转化器典型的自我注意层相结合，该模型不仅可以在学习过程中动态地关注相关的特征，而且还可以通过门控机抑制那些被认为是不相关的特征。是一个概率生成模型，使用RNN学习参数化的线性状态空间模型。
基于 Keras 用深度学习预测时间序列
04-06
基于 Keras 用深度学习预测时间序列 基于 Keras 用深度学习预测时间序列
深度学习做回归预测的文章合集
11-01
里面包含很多篇神经网络做回归预测的参考文献，参考价值相当大，喜欢的可以下载参考一下
基于强化学习实现路径规划附论文和python代码.zip
06-13
Robots that navigate among pedestrians use collision avoidance algorithms to enable safe and efficient operation. Recent works present deep reinforcement learning as a framework to model the complex ...
一文了解深度学习实战——预测篇
全栈O-Jay的博客
11-06 3457
本文将从四个案例 房价预测、泰坦尼克号生还预测、股票预测、影评情感预测 入手，让童鞋们从实战角度快速入门深度学习！
【深度学习时间序列预测案例】零基础入门经典深度学习时间序列预测项目实战（附代码+数据集+原理介绍）
热门推荐
CSDN 精品推荐
01-07 4万+
本专栏整理了《深度学习时间序列预测案例》，内包含了各种不同的基于深度学习模型的时间序列预测方法，例如LSTM、GRU、CNN（一维卷积、二维卷积）、LSTM-CNN、BiLSTM、Self-Attention、LSTM-Attention、Transformer等经典模型，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
深度学习建模预测全流程（Python）！
小白学视觉
08-20 2054
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达本文详细地梳理及实现了深度学习模型构建及预测的全流程，代码示例基于python及神经网络库keras，通过设计一个深度神经网络模型做波士顿房价预测。主要依赖的Python库有：keras、scikit-learn、pandas、tensorflow（建议可以安装下anaconda包，自带有常用的python库）一、基础介绍机...
基于深度学习的大数据预测方法
AI天才研究院
11-13 1115
深度学习与大数据预测方法 关键词：深度学习，大数据预测，神经网络，RNN，CNN，图像预测，文本预测，多模态预测 摘要：本文将详细介绍基于深度学习的大数据预测方法，从基础知识到实际应用，深入探讨深度
深度学习可以做数据预测吗？深度学习有什么用？
gu1857035894的博客
05-31 4147
大家都认为深度学习主要是识别功能，是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能，那深度学习可以做数据预测吗？深度学习有什么用？本篇为大家解答这个问题。深度学习可以做数据预测吗？不知道你的预测功能怎么定义，其实深度学习都应该是预测功能才对。我们通过一大堆的数据训练一个模型，然后来了一个新数据，我们用训练得到的模型对新数据进行推理，这不应该是一种预测么??好了，机灵抖完了，正经回答问题，其实深度学习可以做的预测功能还挺多的，比如：短时天气预测，温度预测等。深度学习有什么用
电力负荷预测的SCI论文复现
03-26
作为AI语言模型，我无法直接为您复现SCI论文，但我可以提供以下有关电力负荷预测的SCI论文及其实现的参考： 1. Li, X., Yang, L., & Zhang, Q. (2017). Short-term load forecasting using extreme learning machine and a hybrid approach. Electric Power Systems Research, 142, 11-20. 该论文采用极限学习机和混合方法进行短期负载预测。极限学习机是一种基于单个隐含层前向反馈神经网络的快速学习算法。混合方法结合了时序分解和回归方法，通过分析负载数据的季节性和趋势性变化来预测负载。 2. Wang, J., Wang, Q., Lu, X., Huang, Z., & Wu, Y. (2016). A new short-term load forecasting method based on extreme learning machine and multi-objective optimization algorithm. Energy, 114, 1141-1149. 该论文提出了一种基于极限学习机和多目标优化算法的新型短期负载预测方法。该方法使用多目标优化算法对模型进行调优，并采用交叉验证和残差分析来验证模型的预测性能。 3. Chen, J., Hong, T., & Pinson, P. (2018). Probabilistic load forecasting using deep learning feed-forward neural networks. IEEE Transactions on Smart Grid, 9(2), 770-779. 该论文采用深度学习前馈神经网络技术进行随机负载预测。该方法将负载数据看作是随机变量，通过训练神经网络来学习每个随机变量的概率分布，从而实现概率负载预测。 4. Akter, M., & Mahmud, M. A. (2019). Electrical load forecasting using artificial neural network and particle swarm optimization: A comparative study. Alexandria Engineering Journal, 58(3), 997-1006. 该论文对比了采用人工神经网络和粒子群优化的电力负载预测方法。研究表明，采用粒子群优化的方法可以提高预测精度，并降低误差率。 以上是一些常见的电力负荷预测SCI论文及其方法介绍，您可以结合自己的研究方向和需求进行选择和参考。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值