CNN+注意力机制(Attention)实现时间序列预测(PyTorch版)

最新推荐文章于 2024-07-01 16:35:22 发布
最新推荐文章于 2024-07-01 16:35:22 发布
阅读量418 收藏
点赞数
分类专栏： 2024年机器学习&深度学习千例 文章标签： cnn pytorch 深度学习 lstm 神经网络 时间序列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68036862/article/details/133555997
版权
该博客介绍了如何基于PyTorch搭建CNN+注意力机制(Attention)模型来处理风速时间序列预测。通过使用CNN提取序列信息，然后利用Attention进行加权融合，以提高预测准确性。文章涵盖了模型搭建、参数配置、数据处理和模型训练等方面，并探讨了模型简化可能带来的效果影响。
摘要由CSDN通过智能技术生成

目录

一、基于PyTorch搭建CNN+注意力机制(Attention)模型实现风速时间序列预测

二、配置类

三、时序数据集的制作

四、数据归一化

五、数据集加载器

六、搭建CNN+注意力机制(Attention)模型

七、定义模型、损失函数、优化器

八、模型训练

九、可视化结果

完整源码

一、基于PyTorch搭建CNN+注意力机制(Attention)模型实现风速时间序列预测

上一篇内容我们是采用LSTM+Attention这个模型来对时序数据进行处理，效果不是特别好，原因并不是模型不好，而是对于超参数没有进行调整，所以导致最终的数据波动不大。

本项目决定使用CNN+Attention模型来对数据进行处理，模型搭建和LSTM+Attention基本是一致的，都是先使用CNN或LSTM，然后将其输出结果导入到Attention模块中进行加权融合。

本项目依旧是使用过去20天的数据来预测未来1天的数据，且每天的特征我们是只用到了一个变量 WIND 风速，也就是单变量预测。

二、配置类

下面是本项目需要使用的参数以及相关变量，为了方便我们将所有参数封装到一个类中，也可以使用 argparse 参数解析方式。

为了说明数据各个阶段的维度变化，特此定义了如下变量大小，小伙伴需要记住下面变量的值一遍理解下文说明各个阶段的维度大小。

class Config():
    data_path = '../data/wind_dataset.csv'
了解本专栏 订阅专栏 解锁全文
人工智能_SYBH
关注
专栏目录
订阅专栏
Pytorch - seq2seq、cnn、attention 日期翻译
AI + 工程
02-20 351
文章目录seq2seqcnnattention seq2seq # %% zidian = { '<PAD>': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9, '0': 10, 'Jan': 11, 'Feb': 12, 'Mar': 13, 'Apr': 14,
CNN GRU 注意力 时序预测基于加注意力机制（CNN-GRU-Attention）的时间序列预测程序
CtPei2Q7的博客
09-12 1081
注意力机制是一种用于加权计算的技术，它可以根据输入数据的重要性，对不同的部分进行不同程度的关注。在时间序列预测中，注意力机制可以帮助模型更好地理解序列中不同时间步的重要性，从而提高预测的准确性。另外，这个程序的代码实现中，已经对标记进行了清晰的注释，使得可以直接使用不同的数据进行运行。总之，基于加注意力机制的时间序列预测程序结合了CNN、GRU和注意力机制的优势，能够在多个领域中实现高精度的预测。可用于做风电功率预测，电力负荷预测，交通预测，负荷预测，经济预测，排放预测等。标记注释清楚，可直接换数据运行。
CNN中的注意力机制
Qiming的博客
06-27 1733
CNN的注意力机制，都是使网络在处理输入数据时，动态地聚焦于重要的部分，从而提高模型的性能和效率。每个模块的输入和输出都是一致的，可以方便的插入到现有模型中，替换不同的模块获得最优效果。
CNN GRU 注意力 时序预测 基于加注意力机制（CNN-GRU-Attention）的时间序列预测程序
最新发布
IERefWxWjd的博客
07-01 392
总之，基于加注意力机制的时间序列预测程序结合了CNN、GRU和注意力机制的优势，能够在多个领域中实现高精度的预测。注意力机制是一种用于加权计算的技术，它可以根据输入数据的重要性，对不同的部分进行不同程度的关注。在时间序列预测中，注意力机制可以帮助模型更好地理解序列中不同时间步的重要性，从而提高预测的准确性。可用于做风电功率预测，电力负荷预测，交通预测，负荷预测，经济预测，排放预测等。可用于做风电功率预测，电力负荷预测，交通预测，负荷预测，经济预测，排放预测等。标记注释清楚，可直接换数据运行。
【深度学习】Attention机制理解与总结
cookie
06-16 1万+
深度学习中Attention Mechanism详细介绍：原理、分类及应用 目前主流的attention方法都有哪些？ Attention Mechanism可以帮助模型对输入的X每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销，这也是Attention Mechanism应用如此广泛的原因。 之前在做知识库问...
【Pytorch】CNN中的Attention
a_piece_of_ppx的博客
02-01 1398
输出维度的物理意义在于，每个查询都会得到一个对应的输出向量，这个输出向量是基于与该查询相关的所有键的信息加权的值向量。第一节介绍了attention的一些理解，事实上，给特征不同的关注度，即通过自己设计的方法，算出attention map再乘到或者作用到特征上，是更早期的attention。这表示，尽管注意力分数是基于查询和键的相似度计算的，但最终的输出是对值的加权，反映了值向量的维度而不是查询或键的维度。注意力机制的输出是值向量的加权和，因此输出的每个元素都处在值向量所在的空间，即具有相同的维度。
pytorch搭建CNN+LSTM+Attention模型实战详细教程
07-17 1092
pytorch搭建CNN+LSTM+Attention模型实战详细教程
CNN+LSTM+Attention实现时间序列预测(PyTorch版)
CSDN 精品推荐
01-19 1万+
本专栏整理了《深度学习时间序列预测案例》，内包含了各种不同的基于深度学习模型的时间序列预测方法，例如LSTM、GRU、CNN（一维卷积、二维卷积）、LSTM-CNN、BiLSTM、Self-Attention、LSTM-Attention、Transformer等经典模型，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
基于PyTorch+Attention注意力机制实现天气变化的时间序列预测
CSDN 精品推荐
12-31 3638
由于大气运动极为复杂,影响天气的因素较多，而人们认识大气本身运动的能力极为有限,因此天气预报水平较低.预报员在预报实践中,每次预报的过程都极为复杂,需要综合分析,并预报各气象要素,比如温度、降水等.现阶段,以往极少出现的极端天气现象越来越多,这极大地增加了预报的难度。
Attention-CNN(Jianlong-Fu 大神制作)
11-06
Attention-CNN 注意力机制细腻度图片分类。 ResNet改造
TextCNN+Attention.ipynb
07-06
使用TextCNN神经网络以及Attention机制来实现文本的情感分类,该文档只是提供了完整的模型部分,可以根据自己的需要更改数据集等以及数据预处理部分.
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： https://blog.csdn.net/qq_30803353/article/details/121875376 1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，生成三维时序数据块 建立模型，卷积层-bilstm层-attention按顺序建立，attention层可放中间也可放前面，效果各不相同 训练模型，使用训练好的模型进行预测 调参优化，保存模型 2、数据介绍 需要数据和数据介绍请私聊，评论区可以找到我的球球 3、相关技术 BiLSTM：前向和方向的两条LSTM网络，被称为双向LSTM，也叫BiLSTM。其思想是将同一个输入序列分别接入向前和先后的两个LSTM中，然后将两个网络的隐含层连在一起，共同接入到输出层进行预测。 attention注意力机制 一维卷积 cnn+lstm+attention 网络结构图 RNN-＞LSTM-＞BiLSTM神经网络结构 注意力机制----transformer中注意力机制 使用Python和Kera
Pytorch 实现注意力机制
01-06
import math import torch import torch.nn as nn import os def file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir): # print(root, root) # 当前目录路径 print(dirs, dirs) # 当前路径下所有子目录 print(files, files) # 当前路径下所有非目录子文件 file_name_walk(/home/kesci/input
Attention机制与CNN的有机结合
小岁月太着急
07-15 2万+
目录 一、SENet（2017ImageNet冠军模型)---通道Attention 前 言 引入 主体思路 Squeeze-and-Excitation (SE) 模块 SE模块在Inception和ResNet上的应用 SE模块的实现 参考文献 二、SKNet（2019CVPR)---soft attention机制 SKNet 使用了两个思路来提高精度： 网络...
CNN+LSTM+Attention实现时间序列预测
热门推荐
pengxiang1998的博客
11-17 3万+
LSTM 隐藏层输出向量作为注意力层的输入，通过一个全连接层进行训练，再对全连接层的输出使用 softmax 函数进行归一化，得出每一个隐藏层向量的分配权重，权重大小表示每个时间步的隐状态对于预测结果的重要程度。权重训练过程如下：Ｓ。
pytorch实现attention_深度学习自然语言处理模型实现大集合（精简版<100行）
weixin_39624461的博客
11-23 374
本资源整理了现有常见NLP深度学习模型，借鉴相关TensorFlow和Pytorch代码实现相关的模型代码，对绝大多数NLP模型进行精简，多数模型都是用不到100行代码实现的，(注释或空行除外)。 从NLP中的第一个语言模型NNLM开始，逐步包括RNN，LSTM，TextCNN，Word2Vec等经典模型。帮助读者更轻松地学习NLP模型，实现和训练各种seq2seq，attention注意力模型...
自注意力机制和cnn结合
09-06
自注意力机制和卷积神经网络 (CNN) 的结合是指将自注意力机制与传统的卷积神经网络相结合，以提高模型的性能。自注意力机制是一种能够在序列数据中学习长距离依赖关系的方法，而CNN则擅长处理图像数据中的局部特征。通过将两者结合，可以使模型在处理序列数据和图像数据时都能够充分利用关键信息，从而提高模型的表现能力。 具体来说，在结合自注意力机制和CNN时，可以使用自注意力机制来捕捉序列数据中的上下文依赖关系，并将这些关系信息融入到卷积层中。这样一来，卷积层就能够同时考虑到局部特征和全局关系，从而更好地捕捉图像或序列中的重要特征。 例如，可以在卷积神经网络中添加一个自注意力层，该层可以将序列数据的不同位置之间的依赖关系进行建模。通过自注意力机制，模型可以自动学习到每个位置与其他位置之间的注意力权重，从而使得模型能够更好地理解序列数据中的上下文信息。然后，将自注意力层的输出与卷积层的输入进行拼接或者加权求和，以融合全局和局部特征。这样一来，在进行特征提取和模式学习时，模型就能够更好地利用序列数据的全局关系，从而提高模型的性能。 总结来说，自注意力机制和卷积神经网络的结合可以使模型在处理序列数据和图像数据时都能够充分利用关键信息，从而提高模型的表现能力。这种结合方法可以通过在卷积神经网络中添加自注意力层来实现，从而使模型能够更好地捕捉全局和局部特征，并提升模型的性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [自注意力和 CNN 的结合 ACmix : On the Integration of Self-Attention and Convolution](https://blog.csdn.net/u014546828/article/details/122084226)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Self-Attention和CNN的优雅集成，清华大学等提出ACmix，性能速度全面提升](https://blog.csdn.net/m0_59596990/article/details/121690793)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能_SYBH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值