回归预测模型 | LSTM、CNN、Transformer、TCN、串行、并行模型集合

最新推荐文章于 2024-07-31 15:14:30 发布
最新推荐文章于 2024-07-31 15:14:30 发布
阅读量327 收藏 14
点赞数 16
分类专栏： 时间序列预测 文章标签： 回归 lstm cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40949048/article/details/139669478
版权

  往期精彩内容：

时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较-CSDN博客

VMD + CEEMDAN 二次分解，Transformer-BiGRU预测模型-CSDN博客

独家原创 | 基于TCN-SENet +BiGRU-GlobalAttention并行预测模型-CSDN博客

独家原创 | BiTCN-BiGRU-CrossAttention融合时空特征的高创新预测模型-CSDN博客

基于LSTM网络的多步预测模型_pytorch transformer-CSDN博客

基于1DCNN网络的多步预测模型-CSDN博客

高创新 | CEEMDAN + SSA-TCN-BiLSTM-Attention预测模型-CSDN博客

基于Transformer网络的多步预测模型-CSDN博客

独家原创 | 超强组合预测模型！-CSDN博客

基于TCN网络的多步预测模型-CSDN博客

基于CNN-LSTM网络的多步预测模型-CSDN博客

时空特征融合的BiTCN-Transformer并行预测模型-CSDN博客

CEEMDAN +组合预测模型(CNN-Transfromer + XGBoost)-CSDN博客

独家首发 | 基于多级注意力机制的并行预测模型-CSDN博客

多步预测模型大更新_基于多尺度 1d-cnn 和注意力机制的汇率多步预测研究-CSDN博客

独家原创 | CEEMDAN-CNN-GRU-GlobalAttention + XGBoost组合预测-CSDN博客

● 环境框架：python 3.9  pytorch 1.8 及其以上版本均可运行

● 使用对象：论文需求、毕业设计需求者

● 代码保证：代码注释详细、即拿即可跑通。

什么是回归预测？和一般的时间序列预测有什么不同？

1. 回归预测：

  • 回归预测通常指的是利用特征来预测一个连续型的目标变量。例如，根据房屋的面积、地理位置、房龄等特征来预测房价。在回归预测中，目标变量一般是连续的实数值，可以是任意范围内的数值。

  • 回归预测的特征可以包括各种类型的数据，包括数值型、类别型、文本型等，而目标变量是连续的实数值。

  • 常见的回归模型包括线性回归、岭回归、Lasso回归、决策树回归、随机森林回归等。

2. 时间序列预测：

  • 时间序列预测是指根据一系列按时间顺序排列的数据点，预测未来的数值。这些数据点通常是按照固定时间间隔采集的，比如每天、每月或每年。

  • 时间序列预测的目标是根据过去的数据来预测未来的数值，因此时间顺序在预测任务中非常重要。

  • 时间序列预测通常涉及到一些特定的方法，比如ARIMA模型、LSTM（Long Short-Term Memory）神经网络、Prophet模型等，这些方法能够充分利用数据中的时间结构和周期性。

包括完整流程数据代码处理：

回归预测数据集制作、数据加载、模型定义、参数设置、模型训练、模型测试、预测可视化、模型评估

配有代码、文件介绍：

前言

本文基于 Kaggle平台—洪水数据集的回归预测（文末附数据集），介绍一种基于CNN-LSTM网络的回归预测模型。

以下是数据集中各列的描述（包括功能名称的含义）：

MonsoonIntensity（季风强度）：这一特征可能衡量该地区季风降雨的强度和频率，较高的值表示降雨强度更大，可能更频繁，这可能会导致更高的洪水风险。

TopographyDrainage（地形排水）： 反映地形的自然排水能力。更好的排水能力（可能由更高的分数表示）可能表明，由于人口稠密或关键地区的水流更好，洪水风险更低。

RiverManagement（河流管理）： 评估河流在防洪方面的管理情况，包括河岸、大坝和其他基础设施的维护。更高的分数可能意味着更好的管理，有可能降低洪水风险。

Deforestation（森林砍伐）：衡量影响土壤稳定性和吸水性的森林砍伐率或程度。更高的森林砍伐分数可能表明森林覆盖的损失更大，更容易受到洪水的影响。

Urbanization（城市化）：表示城市发展水平，由于不透水表面的增加，通常会降低土地吸收降雨的自然能力。城市化程度的提高可能与洪水风险的增加有关。

ClimateChange（气候变化）：　评估气候变化的影响，如降雨量增加或海平面上升，这可能会加剧洪水。得分越高可能表示更容易受到这些变化的影响。

DamsQuality（水坝质量）：　研究大坝在防洪中的状况和有效性。大坝质量差或维护不善可能导致更高的洪水风险。

Siltation（淤积）：　测量水体中淤泥堆积的程度，这会降低其管理水流的能力，增加洪水风险。

AgriculturalPractices （农业实践）：　评估农业活动对洪水风险的影响，考虑灌溉方法和土地使用等可能影响径流和土壤侵蚀的因素。

Encroachments（侵扰）：　对人类入侵洪水易发地区的程度进行评分，这可能会加剧洪水的严重性。

IneffectiveDisasterPreparedness（无效的灾难准备）：　反映了备灾计划及其实施的不足。得分越高可能表明准备工作越差，潜在的破坏和洪水恢复时间越长。

DrainageSystems（排水系统）：　评估城市和农村地区排水系统处理强降雨和水流的效率和容量。

CoastalVulnerability（海岸脆弱性）：　评估沿海地区因风暴潮、海平面上升和气旋活动等因素而发生洪水的风险。

Landslides（滑坡）：　表示山体滑坡的风险和历史，当这些天然大坝决堤时，山体滑坡会堵塞河流，并在下游造成突发洪水。

Watersheds（流域）：　评估流域的健康和管理，流域在管理水资源和减轻洪水风险方面发挥着关键作用。

DeterioratingInfrastructure（不断恶化的基础设施）：　查看与洪水管理相关的基础设施的总体状况，如下水道、桥梁和道路。恶化会阻碍有效的洪水应对。

PopulationScore（人口得分）：　测量洪水易发地区的人口密度或增长，这可能会影响洪水对人类社区的影响。

WetlandLoss（湿地流失）：　量化湿地的减少，湿地通过吸收洪水起到天然缓冲作用。

InadequatePlanning（计划不足）：　评估区域和城市规划在多大程度上整合了洪水风险管理，包括分区和土地利用政策。

PoliticalFactors（政治因素）：　考虑政治决策、治理和政策实施如何影响洪水管理实践。

FloodProbability（洪水概率）：　该结果变量基于上述因素预测洪水的可能性，可能表示为0到1之间的概率。

1 数据预处理

2 基于CNN-LSTM的回归预测模型

2.1 定义CNN-LSTM网络模型

2.2 设置参数，训练模型

50个epoch，MSE 为0.000311，CNN-LSTM回归预测模型预测效果显著，模型能够充分提取数据特征，收敛速度快，性能优越，预测精度高，适当调整模型参数，还可以进一步提高模型预测表现。

注意调整参数：

  • 可以适当增加CNN层数和每层通道数，微调学习率；

  • 调整LSTM层数和每层神经元个数，增加更多的 epoch （注意防止过拟合）

  • 可以改变滑动窗口长度（设置合适的窗口长度）

3 结果可视化和预测、模型评估

3.1 预测结果可视化

3.2 模型评估

代码、数据如下：

对数据集和代码感兴趣的，可以关注最后一行

# 加载数据
import torch
from joblib import dump, load
import torch.utils.data as Data
import numpy as np
import pandas as pd
import torch
import torch.nn as nn
# 参数与配置
torch.manual_seed(100)  # 设置随机种子，以使实验结果具有可重复性
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
#代码和数据集：https://mbd.pub/o/bread/ZpeTmZZp

建模先锋
关注
  • 16
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
时间序列预测 — 时间序列预测研究综述
几度春风里的博客
11-10 6619
指对某种事物发展变化过程进行观测并按照一定频率采集得出的一组随机变量。就是从众多数据中挖掘出其蕴含的核心规律并且依据已知的因素对未来的数据做出准确的估计。由于大量物联网数据采集设备的接入、多维数据的爆炸增长和对预测精度的要求愈发苛刻，经典的参数模型以及传统机器学习算法难以满足预测任务的高效率和高精度需求。近年来，以卷积神经网络、循环神经网络和 Transformer模型为代表的深度学习算法在时间序列预测任务中取得了丰硕的成果。
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合
小蜗爱建模的博客
05-15 1079
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合
Transformer、rnn与cnn三大特征提取器的比较
ningyanggege的博客
04-30 2万+
自然语言处理中的三大特征处理器：RNN、CNN、Transformer，它们目前谁各方面占据优势?未来谁又更有前途呢？这篇文章用目前的各种实验数据给出了说明，结论是：放弃幻想，全面拥抱Transformer。 在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对 2019 做着规划，当然也有不少朋友执行力和工作效率比较高，直接把 2018 年初制定的计划拷贝一下，...
【深度学习】特征提取器：Transformer,Rnn,CNN之间的相互比较
UESTC_201722的博客
06-10 4098
在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对2019做着规划，当然也有不少朋友执行力和工作效率比较高，直接把2018年初制定的计划拷贝一下，就能在3秒钟内完成2019年计划的制定，在此表示祝贺。2018年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧...
详解Transformer在时序预测中的Encoder和Decoder过程：以负荷预测为例
KI的博客
10-31 3986
详解Transformer在时序预测中的Encoder和Decoder过程：以负荷预测为例
rnn、lstm、cnn、transformer
Woody453253的博客
04-15 1409
卷积层虽然可以显著减少网络中连接的数量，但特征映射组中的神经元个数并没有显著减少。缺点：1单个卷积层难以捕获全局信息（改善方法有使用更大的卷积核、使用池化层、使用多层卷积层、空洞卷积tcn用了因果空洞卷积来处理时间序列问题。rnn容易出现梯度消失的问题，因为经过反向传播后，较远时间步的梯度趋近于0，导致模型难以学到远距离的信息。优点：通过门控机制，来记忆一些长期信息，相应也就保留了更多的梯度，缓解rnn梯度消失的问题。rnn不能并行的原因：不同时间步的隐藏层之间有关联。2 rnn中的反向传播。
放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较
热门推荐
张俊林的博客
01-15 2万+
                                          author:张俊林                                   /*可以转载，转载请标明作者及知乎的出处*/ 如果看不清图片，请转到：放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较   在辞旧迎新的时刻，大家都在忙着回顾过去一年的成...
模型组合、注意力机制在单步、多步、单变量、多变量预测中的应用
最新发布
小蜗爱建模的博客
07-31 757
基于TCN-BiLSTM-Attention模型的不同任务预测详解，探索同一个模型和数据集，在四种不同任务上的表现
全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较
周红伟讲AI
02-14 1965
放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对2019做着规划，当然也有不少朋友执行力和工作效率比较高，直接把2018年初制定的计划拷贝一下，就能在3秒钟内完成2019年计划的制定，在此表示祝贺。2018年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧的应该就是B
基于torch实现cnn+lstm+attention 模型时间序列预测 代码模板 通用
04-17
基于torch实现cnn+lstm+attention 模型时间序列预测代码模板 通用
LSTM模型预测LSTM模型预测
03-11
本主题将深入探讨LSTM模型在预测任务中的应用，并结合相关文件名称，推测这些文件可能涉及了多种不同的LSTM变体和预处理技术。 首先，LSTM模型的设计目的是解决传统RNN在训练时遇到的梯度消失和梯度爆炸问题。通过...
回归预测 - MATLAB实现CNN-LSTM多输入单输出（完整源码和数据）
05-05
在本项目中，我们探讨了如何使用MATLAB来实现一种深度学习模型——卷积神经网络（CNN）与长短期记忆网络（LSTM）相结合的多输入单输出（MISO）结构，用于回归预测任务。这一组合模型充分利用了CNN在处理序列数据中的...
MATLAB实现CNN-LSTM神经网络多输入回归预测（完整源码和数据）
10-24
MATLAB实现CNN-LSTM神经网络多输入回归预测（完整源码和数据） CNN-LSTM神经网络，卷积长短期记忆神经网络多输入回归预测 数据为多输入回归数据，输入12个特征，输出1个变量。 运行环境MATLAB2020b及以上。
CNN-TCN-BiLSTM-Attention异常检测（Python完整源码)
12-15
CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整...
机器学习 | 回归算法原理——随机梯度下降法
ttrr27的博客
07-25 1333
Hi，大家好，我是半亩花海。接着上次的多重回归继续更新《白话机器学习的数学》这本书的学习笔记，在此分享随机梯度下降法这一回归算法原理。本章的回归算法原理还是基于《基于广告费预测点击量》项目，欢迎大家交流学习！
qt练习控件label控件-lineEdit控件样例代码
07-30
qt练习控件label控件-lineEdit控件样例代码
【JCR一区级】麻雀搜索算法SSA-CNN-LSTM-Attention故障诊断分类预测【含源码 5689期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Attention分类系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Attention分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Attention分类 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Attention分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Attention分类 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Attention分类
详解MATLAB Simulink通信系统建模与仿真
07-30
第1 章 MATLAB 基础与通信系统仿真 1.1 MATLAB 简介 1.2 MATLAB 程序设计 1.3 通信系统仿真 第2 章 Simulink 仿真基础 2.1 Simulink 简介 2.2 Simulink 工作环境 2.3 Simulink 仿真的基本方法 2.4 创建自己的模块库 2.5 S-函数的编写 第3 章 通信信号与系统分析 3.1 离散信号和系统 3.2 Fourier 分析 3.3 带通信号的低通等效 3.4 随机信号分析 第4 章 信道 4.1 加性高斯白噪声信道 4.2 多径衰落信道 第5 章 模拟调制 5.1 幅度调制 5.2 角度调制 第6 章 数字基带传输 6.1 概述 6.2 二进制基带信号传输 6.3 基带PAM 信号传输 6.4 带限信道的信号传输 第7 章 数字信号载波传输 7.1 概述 7.2 载波幅度调制（PAM） 7.3 载波相位调制（PSK） 7.4 正交幅度调制（QAM） 7.5 载波频率调制（FSK） 第8 章 信道编码和交织 8.1 概述 8.2 线性分组码
LSTM-Transformer模型如何结合LSTM和Transformer的优势？
06-03
LSTM-Transformer模型是一种将LSTM和Transformer结合起来的模型，它充分利用了LSTM对序列数据的建模能力和Transformer对全局信息的建模能力，从而达到更好的建模效果。 在LSTM-Transformer模型中，LSTM主要用来对序列数据进行建模，而Transformer则用来对整个序列的全局信息进行建模。具体而言，LSTM负责从历史状态中提取信息，Transformer负责整合历史状态和当前状态的信息。在模型中，LSTM和Transformer的输出会被融合起来，然后送入下一层。 相比于传统的LSTM或Transformer模型，LSTM-Transformer模型具有以下优势： 1. 可以更好地处理长序列数据。LSTM对于长序列数据有很好的建模能力，而Transformer则可以处理全局信息，这使得LSTM-Transformer模型可以更好地处理长序列数据。 2. 具有更好的并行性。传统的LSTM模型在训练时需要按顺序计算每个时间步的输出，而Transformer可以并行计算所有时间步的输出。LSTM-Transformer模型结合了两者的优势，在计算效率上具有更好的表现。 3. 可以更好地处理不同时间步之间的关系。LSTM可以通过门控机制学习时间步之间的依赖关系，而Transformer可以通过自注意力机制学习不同位置之间的依赖关系。这使得LSTM-Transformer模型可以更好地处理不同时间步之间的关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

建模先锋

你的鼓励将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值