KAN模型

最新推荐文章于 2025-03-12 14:23:12 发布
最新推荐文章于 2025-03-12 14:23:12 发布
阅读量4.9k 收藏 19
点赞数 7
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63147690/article/details/138466604
版权
本文介绍了KAN模型，一种受Kolmogorov-Arnold定理启发的深度学习模型，其特点是将激活函数置于权重上。尽管KAN在解释性和精度上有优势，但训练速度较慢，约为MLP的10倍。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.简单介绍

今天给大家介绍一篇最近论文《KAN:Kolmogorov-Arnold Networks》，这篇论文对于在人工智能领域深耕的人还是推荐去阅读一下（虽然星主还没读过原文，48页==痛苦）。由于星主还没读过原文，这里只简单介绍一下。

论文地址：https://arxiv.org/pdf/2404.19756

Github：GitHub - KindXiaoming/pykan: Kolmogorov Arnold Networks

文档说明：Welcome to Kolmogorov Arnold Network (KAN) documentation! — Kolmogorov Arnold Network documentation

这篇文章提出了一个叫KAN（Kolmogorov–Arnold Networks）的模型，它对标的是MLPs（多层感知机），这个模型由数学定理Kolmogorov–Arnold启发得出的。该模型最重要的一点就是把激活函数放在了权重上，也就是在权重上应用可学习的激活函数，这些一维激活函数被参数化为样条曲线，从而使得网络能够以一种更灵活、更接近Kolmogorov-Arnold 表示定理的方式来处理和学习输入数据的复杂关系。这里贴一张原论文中MLP和KAN对比的图

熟悉MLP的人应该清楚，激活函数都是放在了节点上，是不可学习的，星主认为这就是KAN最大的创新点。该模型具有很好的解释性，在某些任务上表现超过了MLP。

2.Kolmogorov-Arnold表示定理

这个定理是由前苏联的两位数学家（Vladimir Arnold 和 Andrey Kolmogorov）提出的，大致说的是：如果f是一个多元连续函数，那么f可以被写成单变量连续函数和二元加法运算的有限复合。

数学形式如下：

f(x)=f(x_1,x_2,...,x_n)=\sum_{q=0}^{2n}\Phi_q(\sum_{p=1}^n \phi _{q,p}(x_p))

这里的\phi_{q,p}:[0,1]->R \quad \Phi_q:R->R。

简单理解为任何多元连续函数都可以表示为单变量连续函数的两层嵌套叠加（一个单一变量的连续函数和一系列连续的双变量函数的组合），更多的数学原理可以去看维基百科：Kolmogorov–Arnold representation theorem - Wikipedia

3.存在的问题

KAN模型的主要优点就是可解释性好，精度高，但训练速度很慢。在相同参数数量下，KAN的训练速度通常比MLP慢大约10倍。

最后，文中给出了一个训练时选MLP还是KAN的图

好了，其它的内容等星主看完原文后再更新。

cnn_lstm_kan模型创新实现股票预测
10-22 1685
A002-cnn_lstm_kan模型在实现股票预测中的创新点主要体现在其模型结构的设计与多模块的组合使用。首先，该模型结合了卷积神经网络（CNN）与长短期记忆网络（LSTM）的优点。CNN被用于从时间序列数据中提取局部的空间特征，其擅长发现数据的局部模式，例如短期内的价格波动。LSTM则能够有效捕捉时间序列中的长期依赖关系，通过其门控机制记住远期的关键数据点，从而为股票价格的长期预测提供支持。相比单一使用CNN或LSTM的模型，这种融合方式能够更好地捕捉股票价格中短期与长期波动的共同影响。
基于TCN-Transformer-KAN混合模型实现电力负荷多变量时序预测——柯尔莫哥洛夫-阿诺德网络模型融合详解(PyTorch版)
时序笔记
11-25 2989
本文提出了一种基于TCN-Transformer-KAN混合模型的电力负荷时序预测方法，旨在通过结合三者的长处，进一步提高负荷预测的精度和效率。具体而言，TCN负责提取时间序列数据的局部特征和短期依赖关系，Transformer捕捉全局特征和长程依赖关系，而KAN则利用其强大的函数逼近能力处理复杂的非线性关系。三者相辅相成，共同提升模型的预测性能。本文详细阐述了TCN-Transformer-KAN混合模型的构建过程，包括数据预处理、模型结构设计、训练与优化策略等。
好发论文新方向：KAN+Transformer！准确率达99.86％！
m0_59235699的博客
08-20 2458
一方面，这两者结合，在提高模型的准确性、可解释性方面效果显著，对这两方面要求高的方向，都可以用该方法重做一遍！像是时序预测、图像分类、目标检测等。代表模型SCKansformer，在高维显微图像分类中，便。主要在于，KAN的灵活性和可解释性，可以弥补Transformer不足；而Transformer的自注意力，也可以帮助KAN更好地处理长距离依赖关系。另一方面，KAN是当下的新技术，目前还不算卷，出创新点的机会多。
TimeKAN：基于KAN的时间序列预测模型
Everly_的博客
03-05 814
时间序列预测（TSF）在金融、能源管理、交通流量规划和天气预报等多个领域具有重要应用。近年来，深度学习技术，特别是基于卷积神经网络（CNN）、Transformer和多层感知器（MLP）的方法，极大地推动了TSF的发展。然而，现实世界中的时间序列往往具有非平稳性和复杂的模式，这使得准确捕捉历史数据与未来目标之间的联系变得极具挑战性。为了应对时间序列中复杂的时序模式，越来越多的研究开始关注利用先验知识将时间序列分解为更简单的组成部分，为预测提供基础。
前沿创新 | KAN模型及其组合模型回归预测应用，Python预测回归全家桶更新
m0_61878377的博客
06-18 4460
KAN一种全新的神经网络架构，与传统的 MLP 架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。本期将推出KAN及其组合模型（TCN-KAN、LSTM-KAN、Transformer-KAN、ResNet-KAN等等等）实现回归预测。KAN是2024年的最新研究成果，一经问世便受到众多关注，当前引用还比较少，早用早发文！！！
故障诊断 | 基于KAN故障诊断模型
Matlab_dashi的博客
10-29 1200
故障诊断是现代工业生产和设备维护中的关键环节，其效率和准确性直接影响着生产效率、产品质量和维护成本。传统的故障诊断方法往往依赖于经验丰富的工程师的判断，存在主观性强、效率低、难以进行知识积累和传承等不足。近年来，随着人工智能和知识工程的发展，基于知识的故障诊断方法逐渐受到重视，其中，KAN (Knowledge Acquisition and Navigation) 模型作为一种有效的知识表示和推理方法，为复杂设备的故障诊断提供了新的途径。本文将深入探讨基于KAN故障诊断模型的原理、优势以及应用前景。
革新突破：MIT与加州理工联手推出KAN，一举超越传统MLP模型！
LiRongLu_的博客
05-03 4691
在今天的深度学习领域，多层感知机（MLP）长久以来被视作构建神经网络的基石。然而，尽管其在多个领域内取得了巨大成功，MLP在参数效率、准确性和可解释性方面的局限性始终是科研人员试图克服的难题。今天，我们迎来了一场可能彻底改变深度学习面貌的技术革命——由麻省理工学院和加州理工学院联合领衔的研究团队提出了一种名为Kolmogorov-Arnold Networks（KANs）的全新网络结构，它不仅在理论上弥补了MLP的不足，更在实际应用中展现出惊人的性能。
几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）时间序列预测，python预测全家桶...
woaipythonmeme的博客
06-14 4470
截止到本期，一共发了8篇关于机器学习预测全家桶Python代码的文章。参考往期文章如下：1.终于来了！python机器学习预测全家桶2.机器学习预测全家桶-Python，一次性搞定多/单特征输入，多/单步预测！最强模板！3.机器学习预测全家桶-Python，新增CEEMDAN结合代码，大大提升预测精度！4.机器学习预测全家桶-Python，新增VMD结合代码，大大提升预测精度！5.Python机器...
中科院1区 | Matlab实现CNN-Transformer时间序列预测
qq_59747472的博客
08-09 1236
时间序列预测是许多科学和工程领域的关键问题，其应用范围涵盖经济预测、气象预报、能源管理等。近年来，深度学习技术，特别是卷积神经网络 (CNN) 和 Transformer，在时间序列预测领域取得了显著进展。本文将介绍一种基于 Matlab 的 CNN-Transformer 模型，用于时间序列预测，并将其应用于实际问题中。该模型充分利用了 CNN 的局部特征提取能力和 Transformer 的全局依赖关系建模能力，在多个时间序列数据集上取得了优异的预测效果，达到了中科院1区期刊发表水平。1. 概述。
KAN网络架构浅析
sheex2012的博客
06-04 5672
与 MLP 类似，KAN 实际上也具有全连接结构，区别在于，MLPs在节点（神经元）上放置固定的激活函数，而 KAN在边缘（权重）上放置的是可学习的激活函数。，与原始传统的MLP相比，特别是现代MLP采用了更为简单的RELU取代Sigmod激活函数，有效解决了梯度爆炸或消失问题，从而大大降低了深度网络构建和训练难度（当然，还得有Resnet加持）。3. KAN在不同类型的任务和数据集上的泛化能力还需要进一步验证，github上已经有很多关于KAN的实验，不同的研究者的实验结果并不一致。
改进KAN模型Pytorch完整源码，Kolmogorov-Arnold Networks
07-25
改进KAN模型Pytorch完整源码，Kolmogorov-Arnold Networks Kolmogorov-Arnold Networks (KAN) 使用 Chebyshev polynomials 替换 B-splines. class MNISTChebyKAN(nn.Module): def __init__(self): super...
SCI算法！发文首选！参数优化下的BiLSTM-KAN模型回归预测，Python代码
m0_61878377的博客
07-28 884
KAN是2024年最新的算法，是近期非常热门的一个模型。当前对该算法的应用是非常少的，因此该算法是我们写论文的最佳选择。 同时，为进一步加强创新，小当家推出LVY-BiLSTM-KAN。其中，常青藤优化算法（IVY）是元启发式算法领域的最新研究，出版日期2024年7月8日。快来尝尝鲜，早用早发文！！！ 代码及参考文献获取见文末
算法进阶 | KAN模型在时间序列预测有效吗？
csdn_xmj的博客
09-21 1531
Kolmogorov-Arnold网络（KAN）的提出为深度学习领域带来了一些新意，它作为多层感知器（MLP）的一种替代方案，展现了新的可能性。 近期，随着论文《KAN4TSF: KAN和基于KAN的模型对时间序列预测有效吗？》中引入的可逆KAN混合模型（Reversible Mixture of KAN, RMoK）号称能够提高KAN的性能。本文将深入探讨RMoK模型的架构和内部机制，并通过Python实现一个小型实验来验证其性能。
拿下CVPR25！KAN+时间序列再封神！
最新发布
Aimoxin111的博客
03-12 799
性能提升：在大多数情况下，RMoK模型的性能优于现有的Transformer、CNN和MLP基线模型，例如在ETTh1数据集上，RMoK的平均MSE为0.414，而其他基线模型的MSE分别为0.457（Transformer）、0.440（CNN）和0.414（MLP）。性能提升：带注意力机制的LSTM-GRU混合RNN模型在所有误差指标上表现最佳，例如在SPX数据集上，其MSE为0.000021，显著低于其他模型（如MLP的MSE为0.000056，XGBoost的MSE为0.000025）。
全新神经网络架构KAN——本文用于学习与探索
热门推荐
xiao_ling_yun的博客
05-11 1万+
24年新神经网络结构KAN论文学习 + 解析，KAN有望作为MLP的更优平替
几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）回归预测，python预测全家桶再更新！...
woaipythonmeme的博客
07-05 2169
截止到本期，一共发了9篇关于机器学习预测全家桶Python代码的文章。参考往期文章如下：1.终于来了！python机器学习预测全家桶2.机器学习预测全家桶-Python，一次性搞定多/单特征输入，多/单步预测！最强模板！3.机器学习预测全家桶-Python，新增CEEMDAN结合代码，大大提升预测精度！4.机器学习预测全家桶-Python，新增VMD结合代码，大大提升预测精度！5.Python机器...
什么是KAN网络？
GamBleout的博客
09-27 2947
KAN网络，全称为Kolmogorov-Arnold Networks，是一种新型的神经网络架构，其设计灵感来源于Kolmogorov-Arnold表示定理。该定理表明，多元连续函数可以表示为有限数量的单变量连续函数和二元加法运算的复合。KAN网络正是基于这一理论，旨在通过在网络边缘（即权重）上引入可学习的激活函数，来提高模型的灵活性和表达能力，同时保持模型的解释性。
用大模型理解爆火的KAN网络
python1222_的博客
05-28 2655
调参也是一门技术活。同样的例子在官网给出的结果更加准确，因为调参的时候做的更精细。下图是官网的结果，exactly由一个平方函数、一个正弦函数和一个指数函数结合。KAN还有一些其他的功能，例如能解微分方程、在学习的过程中有记忆力等等。这个先不谈，后面用到了再说吧。
KAN模型实现长时序预测
01-15
### KAN模型实现长时间序列预测的方法 #### 背景介绍 Kolmogorov-Arnold Network (KAN) 是一种专门设计用于处理复杂非线性映射问题的神经网络架构，在时间序列预测领域表现出色。该模型能够有效地捕捉长期依赖关系...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值