几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）回归预测，python预测全家桶再更新！...

最新推荐文章于 2024-07-05 14:09:32 发布
最新推荐文章于 2024-07-05 14:09:32 发布
阅读量334 收藏 5
点赞数 4
文章标签： lstm gru transformer 回归 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woaipythonmeme/article/details/140222890
版权

截止到本期，一共发了9篇关于机器学习预测全家桶Python代码的文章。参考往期文章如下：

1.终于来了！python机器学习预测全家桶

2.机器学习预测全家桶-Python，一次性搞定多/单特征输入，多/单步预测！最强模板！

3.机器学习预测全家桶-Python，新增CEEMDAN结合代码，大大提升预测精度！

4.机器学习预测全家桶-Python，新增VMD结合代码，大大提升预测精度！

5.Python机器学习预测+回归全家桶，再添数十种回归模型！这次千万别再错过了！

6.Python机器学习预测+回归全家桶，新增TCN，BiTCN，TCN-GRU，BiTCN-BiGRU等组合模型预测

7.调用最新mealpy库，实现215个优化算法优化CNN-BiLSTM-Attention，电力负荷预测

8.Transformer实现风电功率预测，python预测全家桶

9.几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）时间序列预测，python预测全家桶

上一期在python预测全家桶更新了关于KAN组合网络的预测模型，今天继续更新关于KAN网络的回归模型。

本次更新可以一键更改不同KAN网络的组合模型，而且可以一键实现单输出和多输出回归的简单切换。

一、KAN网络模型概述

KAN网络属于近期非常热门的一个模型，与传统的MLP架构截然不同，KAN网络能用更少的参数在数学、物理问题上取得更高精度。KAN其灵感来源于 Kolmogorov-Arnold 定理，这个定理的含义就是任意一个多变量连续函数都可以表现为一些单变量函数的组合。

KAN的核心特点是在网络的边缘（即权重）上拥有可学习的激活函数，而不是像传统的MLPs那样在节点（即神经元）上使用固定的激活函数。并且KAN的准确性和可解释性要比MLP好很多。

1b618cff5836ec6a3b991f09f9a888fe.png

KAN的优点：

  • 1. KAN可以避免大模型的灾难性遗忘问题

  • 2. 在函数拟合、偏微分方程求解方面，KAN比MLP更准确

  • 3. KAN可以直观地可视化。KAN 提供MLP无法提供的可解释性和交互性

KAN的缺点：

  • 1.训练速度慢：因为训练一个激活函数，需要无限多的循环进行验证

  • 2. 对于更深层结构可解释性是否还存在，论文中给出的实验只是浅层的

  • 3.KAN网络在求解非线性函数等工程问题时更精确，但在时间序列预测方面，训练起来就非常慢。但是将其作为网络的一个小的改进点，还是可以的。

二、KAN网络组合模型

本期带来几个KAN网络的回归组合模型：LSTM-KAN、BiLSTM-KAN、GRU-KAN、TCN-KAN、Transformer-KAN。

以UCI数据集中的《共享单车租赁数量.csv》数据为例，可以看到，除时间序列外，数据共有14列，其中前13列为特征列，最后一列为输出列，也就是自行车的租赁数量。

ef14ed53d0d0203f629a6a683fe930fb.png

以上这个数据是一个多输入单输出的回归问题。

三、多输入单输出实验结果展示：

设置训练集测试集比例为8：2，并采用各大KAN组合模型预测。

LSTM-KAN回归预测结果：

df9b89f412d5cf0c21dabfdddfe09226.png

90ae014b1af5a976b8dfce30fc46a9a6.png

BiLSTM-KAN回归预测结果：

a2d566a227472055678c0a5aadce3822.png

71c80cb7493a8667dd6c9dc49902db3a.png

TCN-KAN回归预测结果：

7517f13bc4201602cd4cae4fc15e4c7b.png

3f2b9da96e98140cecaf379dad230a11.png

Transformer-KAN回归预测结果：

bc893cebaab11fd05b583f090c0dbcd0.png

cc3d5232b34ba73f3d1b02e09387e661.png

四、多输入多步预测实验结果展示：

除此之外，还可以进行多步回归预测。

由于作者这里没有关于多步回归预测的合适数据，因此还用这个《共享单车租赁数量.csv》数据为例进行介绍。现在我们暂且把最后2列当做预测值，也就是说，将前12列作为数据特征，来同时预测注册数量和租赁数量。

结果如下：

TCN-KAN多步回归预测结果：

1313a1358788f34fc63d72cec27d5999.png

97773453a66e4cc4412c1853e172e695.png

233a116660803a59521f9cabe8d3d3b5.png

这里的第一步即注册数量的预测结果，第二步即租赁数量的预测结果。

这样一来，我们就实现了多输出的回归预测。代码中只需要修改一个参数即可，简单便捷！其他模型就不再一一展示。

代码获取

已将本文代码更新至python预测全家桶。

后续会继续更新一些其他模型……敬请期待！

机器学习python全家桶代码获取

https://mbd.pub/o/bread/ZZqXmpty

识别此二维码也可跳转全家桶

后续有更新直接进入此链接，即可下载最新的！

86d46fae76625b82b13b1b5aada5e4a0.png

或点击下方阅读原文获取此全家桶。


python预测全家桶pip包推荐版如下：

tensorflow~=2.15.0
pandas~=2.2.0
openpyxl~=3.1.2
matplotlib~=3.8.2
numpy~=1.26.3
keras~=2.15.0
mplcyberpunk~=0.7.1
scikit-learn~=1.4.0
scipy~=1.12.0
qbstyles~=0.1.4
prettytable~=3.9.0
vmdpy~=0.2
xgboost~=2.0.3
mealpy~=3.0.1
torch~=2.3.1

推荐使用3.9版本的python哦！

获取更多代码：

3a3f1c88453953df876b1bb44c745a3c.png

或者复制链接跳转：
https://docs.qq.com/sheet/DU3NjYkF5TWdFUnpu
今天吃饺子
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
拓端研究室TRL
11-24 1392
全文下载链接：http://tecdat.cn/?p=27042在本文中，该数据根据世界各国提供的新病例数据（查看文末了解数据获取方式）提供。相关视频获取时间序列数据df=pd.read_csv("C://global.csv")探索数据此表中的数据以累积的形式呈现，为了找出每天的新病例，我们需要减去这些值df.head(10)这些数据是根据国家和地区报告新病例的数据，但我们只想预测国家的新病例，...
python卷积神经网络回归预测_R语言实现CNN（卷积神经网络）模型进行回归数据分析...
weixin_30798867的博客
01-29 3626
原标题：R语言实现CNN(卷积神经网络)模型进行回归数据分析原文链接：http://tecdat.cn/?p=18149当我们将CNN(卷积神经网络)模型用于训练多维类型的数据(例如图像)时，它们非常有用。我们还可以实现CNN模型进行回归数据分析。我们之前使用Python进行CNN模型回归 ，在本文中，我们在R中实现相同的方法。视频：R语言实现CNN(卷积神经网络)模型进行回归数据分析我们使用一维...
几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）时间序列预测，python预测全家桶...
woaipythonmeme的博客
06-14 1969
截止到本期，一共发了8篇关于机器学习预测全家桶Python代码的文章。参考往期文章如下：1.终于来了！python机器学习预测全家桶2.机器学习预测全家桶-Python，一次性搞定多/单特征输入，多/单步预测！最强模板！3.机器学习预测全家桶-Python，新增CEEMDAN结合代码，大大提升预测精度！4.机器学习预测全家桶-Python，新增VMD结合代码，大大提升预测精度！5.Python机器...
前沿创新 | KAN模型及其组合模型回归预测应用，Python预测回归全家桶更新
m0_61878377的博客
06-18 1372
KAN一种全新的神经网络架构，与传统的 MLP 架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。本期将推出KAN及其组合模型（TCN-KAN、LSTM-KAN、Transformer-KAN、ResNet-KAN等等等）实现回归预测。KAN是2024年的最新研究成果，一经问世便受到众多关注，当前引用还比较少，早用早发文！！！
基于LSTM的股票预测模型_python实现_超详细
热门推荐
zxm_的博客
07-05 13万+
文章目录一、背景二、主要技术介绍1、RNN模型2、LSTM模型3、控制门工作原理四、代码实现五、案例分析六、参数设置七、结论 一、背景 近年来，股票预测还处于一个很热门的阶段，因为股票市场的波动十分巨大，随时可能因为一些新的政策或者其他原因，进行大幅度的波动，导致自然人股民很难对股票进行投资盈利。因此本文想利用现有的模型与算法，对股票价格进行预测，从而使自然人股民可以自己对股票进行预测。 理论上，.........
时序预测 | Python实现ARIMA-LSTM差分自回归移动平均模型结合长短期记忆神经网络时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
10-26 1844
时序预测 | Python实现ARIMA-LSTM差分自回归移动平均模型结合长短期记忆神经网络时间序列预测
【项目实战】Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)
胖哥真不错的博客
11-23 1万+
【项目实战】Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)
时间序列预测模型实战案例(三)(LSTM)(Python)(深度学习)时间序列预测(包括运行代码以及代码讲解)
Snu77的博客
09-20 4万+
LSTM（Long Short-Term Memory）是一种常用的循环神经网络（RNN）模型，用于处理序列数据，具有记忆长短期的能力。在时间序列预测中，LSTM既可以多元预测机制又可以作为单元预测机制使用。LSTM的预测效果图其中MAE误差为0.15,ME误差为-0.03。,LSTM作为多元预测机制和单元预测机制的优点是可以处理序列数据中的长期依赖关系，从而可以捕捉到数据中的复杂模式和规律。它可以自适应地学习和调整模型参数，从而提高模型的预测性能和泛化能力。
PyTorch搭建LSTM实现时间序列预测（负荷预测）
KI的博客
01-18 9万+
PyTorch搭建LSTM实现时间序列预测（负荷预测）
python实现基于长短期记忆网络LSTM模型预测茅台股票价格趋势
m0_64336780的博客
06-07 1万+
随着金融数据的不断增长和复杂化，传统的统计方法和机器学习技术面临着挑战。深度学习算法通过多层神经网络的构建，以及大规模数据的训练和优化，可以从数据中提取更加丰富、高级的特征表示，从而提供更准确、更稳定的预测和决策能力。在金融领域，深度学习算法已经被广泛应用于多个关键任务。首先，风险评估是金融机构必须面对的重要问题之一。深度学习算法可以通过学习大规模的历史数据，识别隐藏在数据中的潜在风险因素，并预测未来的风险情况。其次，欺诈检测是金融行业必不可少的任务。
GRU模型预测.py,gru模型全称,Python
09-10
GRU模型，全称为Gated Recurrent Unit，是循环神经网络（Recurrent Neural Network, RNN）的一个变体，主要用于处理序列数据。在本场景中，我们使用GRU模型进行短时客流预测，这是一种典型的时间序列预测问题，旨在...
基于Python实现LSTM、GRU、BiLSTM预测股票价格比较研究（源码+数据+说明文档）.rar
03-27
资源内容：基于LSTM、GRU、BiLSTM预测股票价格比较的Python仿真（完整源码+说明文档+数据）.rar 代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 适用对象：工科生、数学专业、算法等方向学习...
15.时间序列预测（LSTM模型）python代码实现
05-08
时间序列预测（LSTM模型）python代码实现"这个主题涵盖了使用Python和LSTM进行时间序列预测的全过程，包括理解时间序列数据、搭建LSTM模型、数据预处理、模型训练、验证和预测。通过实践这一过程，可以提升对LSTM和...
基于LSTM、GRU、BiLSTM预测股票价格比较的Python仿真源码（大作业）.zip
10-17
基于LSTM、GRU、BiLSTM预测股票价格比较的Python仿真源码（大作业）.zip 已获导师指导并通过的97分的高分设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于LSTM、GRU、BiLSTM...
python实现基于卷积神经长短期记忆网络（bi-LSTM）注意力机制对股票进行回归预测.zip
04-02
python实现基于卷积神经长短期记忆网络（bi-LSTM）注意力机制对股票进行回归预测.zip个人97分的期末大作业，主要针对计算机相关专业的正在做课程设计和期末大作业的学生和需要项目实战练习的学习者。包含全部项目...
【深度学习】循环神经网络RNN、LSTM、GRU
开心星人的博客
07-02 616
李宏毅深度学习笔记。
SSA-BP多输入回归|樽海鞘算法-BP神经网络|Matlab
最新发布
不定时分享电力优化、神经网络、数学建模等技术等
07-05 345
本代码基于。
Ansys Zemax｜场曲跟畸变图的前世今生
ueotek的博客
07-02 359
这里的y和z坐标和方向余弦是（Hx, Hy, Px, Py）=（X, X, 0 ,0）和（Hx, Hy, Px, Py）=（X, X, 0 ,0.001），在光线追迹像面的前一个平面的 z坐标和方向余弦。OpticStudio通过在X和Y方向（弧矢和子午方向）的傍轴光线追踪确定近轴图像平面的Z坐标，并测量该近轴焦平面与系统图像平面的Z坐标之间的距离。使用附件中的样本文件，近轴像面的全局Z坐标与视场0处的像面位置之差与场曲和畸变图中的的Tan Shift相同。近轴像面的定义是以下两个光线交点的全局Z坐标。
Java基础:爬虫
weixin_65752158的博客
07-04 723
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
bilstm-gru预测模型python
11-14
以下是使用PaddlePaddle框架实现BiLSTM-GRU预测模型的Python代码： ```python import paddle import paddle.fluid as fluid # 定义输入数据 words = fluid.layers.data(name='words', shape=[1], dtype='int64', lod_level=1) target = fluid.layers.data(name='target', shape=[1], dtype='int64', lod_level=1) # 定义词向量 embedding = fluid.layers.embedding(input=words, size=[vocab_size, embedding_size], is_sparse=True) # 定义BiLSTM层 lstm_forward = fluid.layers.dynamic_lstm(input=embedding, size=lstm_hidden_size, time_major=False) lstm_backward = fluid.layers.dynamic_lstm(input=embedding, size=lstm_hidden_size, time_major=False, is_reverse=True) bi_lstm = fluid.layers.concat(input=[lstm_forward, lstm_backward], axis=1) # 定义GRU层 gru = fluid.layers.dynamic_gru(input=bi_lstm, size=gru_hidden_size, time_major=False) # 定义全连接层 fc = fluid.layers.fc(input=gru, size=num_classes, act='softmax') # 定义损失函数和优化器 cost = fluid.layers.cross_entropy(input=fc, label=target) avg_cost = fluid.layers.mean(cost) optimizer = fluid.optimizer.AdamOptimizer(learning_rate=learning_rate) optimizer.minimize(avg_cost) # 定义训练程序 train_program = fluid.default_main_program() exe = fluid.Executor(place) exe.run(fluid.default_startup_program()) # 训练模型 for epoch in range(num_epochs): for batch_id, data in enumerate(train_reader()): words_data, target_data = data loss = exe.run(train_program, feed={'words': words_data, 'target': target_data}, fetch_list=[avg_cost]) if batch_id % 100 == 0: print("Epoch %d, Batch %d, Loss %.4f" % (epoch, batch_id, loss[0])) # 保存模型 fluid.io.save_inference_model(dirname=model_save_dir, feeded_var_names=['words'], target_vars=[fc], executor=exe) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

今天吃饺子

不想刀我的可以选择爱我

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值