关于对Kolmogorov-Arnold Networks (KANs)论文的一些理解

最新推荐文章于 2025-01-26 01:00:00 发布
最新推荐文章于 2025-01-26 01:00:00 发布
阅读量2.9k 收藏 24
点赞数 15
CC 4.0 BY-SA版权
文章标签： 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ermu114/article/details/138652206

“MIT全新神经网络结构KANs，200参数顶30万！3天1.4k star！轻松复现Nature封面AI数学研究！”。这个爆火的KANs是一种新型的神经网络，受到Kolmogorov-Arnold表示定理的启发，旨在替代传统的多层感知器（MLPs）。KANs的特点是其激活函数是可学习的，并且位于网络的边（权重）上，而不是节点（神经元）上。KANs没有线性权重矩阵，而是将每个权重参数替换为一个可学习的单变量函数，该函数以样条曲线的形式参数化。相信看完这段后绝大多数读者就晕了，那我试着做一些粗浅的解读。

一、什么是Kolmogorov-Arnold表示定理?

在1900年，数学家大卫·希尔伯特提出了23个数学问题，这些问题被认为是数学领域的重要挑战。第13问题是关于是否存在一个通用的方法，能够用有限次的算术运算和根号运算来表示任意一个七次方程的解。这个问题后来被推广为是否可以用有限个二元连续函数来表示任意多元连续函数。Kolmogorov-Arnold表示定理是对希尔伯特第13问题的一个回答。该定理指出，任意一个定义在有界域上的多变量连续函数都可以表示为有限数量的单变量连续函数的两层嵌套叠加的形式。换句话说，无论一个函数有多少个变量，它都可以通过一系列单变量函数的组合来表达。

简单一句话，Kolmogorov-Arnold表示定理告诉我们，复杂的任务可以通过简单的步骤组合来完成。就像是一个工厂的生产线，每个工人只负责一个简单的步骤，但整个生产线能够生产出复杂的产品。

二、传统多层感知机（MLPs）又是什么?

多层感知机（Multi-layer perceptrons，MLPs）是受到人脑神经元网络连接方式的启发而设计的一种最基本的神经网络结构，它由多个层次组

最低0.47元/天 解锁文章
用大模型理解爆火的KAN网络
python1222_的博客
05-28 2858
调参也是一门技术活。同样的例子在官网给出的结果更加准确，因为调参的时候做的更精细。下图是官网的结果，exactly由一个平方函数、一个正弦函数和一个指数函数结合。KAN还有一些其他的功能，例如能解微分方程、在学习的过程中有记忆力等等。这个先不谈，后面用到了再说吧。
AI与科学的结合：KAN 2.0， Kolmogorov-Arnold 网络与科学相遇
u014546828的博客
08-23 1861
pykan(1)MultKAN(2)kanpiler(3)“AI+科学”面临的一大挑战在于它们之间固有的不兼容性：当前的AI主要基于连接主义，而科学则依赖于符号主义。为了弥合这两个领域的鸿沟，提出了一个框架，旨在将Kolmogorov-Arnold网络（KANs）与科学无缝融合。该框架着重展示了KANs在科学发现三个方面的应用：识别相关特征、揭示模块化结构以及发现符号公式。科学融入KAN（将科学知识整合到KANs中）KAN反哺科学（从KANs中提取科学洞见）。在pykan。
希尔伯特第 13 问题，Kolmogorov–Arnold representation theorem 和通用近似定理（Universal approximation theorem）
qq_32515081的博客
03-17 9149
关于这个方程，希尔伯特问它的解xxx，作为三个变量aaabbb和ccc的函数，是否可以表示为有限数量的二元函数的组合。
论文解读：KAN: Kolmogorov–Arnold Networks
热门推荐
zenRRan的博客
05-07 1万+
五一假期刚开始没两天的时候，刷到了一篇火遍国内外AI圈的论文，叫做 KAN: Kolmogorov–Arnold Networks , 尤其国内某些科技媒体铺天盖地的宣传更是让我提起了兴趣，在假期结束之前，抽个空读一下看看是怎么个事。读了之后发现，仅仅只是高数、线代和概率论这些数学知识是看不懂的，最好还需要了解一点数分方面的知识，反正我是借助了ChatGPT才能勉强看完，这里我就从一个简单的科普...
[论文翻译]：KAN：科尔莫戈洛夫-阿诺德网络
强化学习曾小健
05-04 3868
受科尔莫戈洛夫-阿诺德表示定理的启发，我们提出了科尔莫戈洛夫-阿诺德网络（KANs）作为多层感知器（MLPs）的有希望的替代方案。虽然MLPs在节点（“神经元”）上有固定的激活函数，但KANs在边缘（“权重”）上有可学习的激活函数。KANs根本没有线性权重 - 每个权重参数都被替换为参数化为样条的单变量函数。我们展示了这个看似简单的改变使得KANs在准确性和可解释性方面优于MLPs。在准确性方面，较小的KANs在数据拟合和PDE求解方面可以达到与较大的MLPs相媲美甚至更好的准确性。
KAN神经网络简短介绍
Neo的战斗部
05-12 3212
Kolmogorov-Arnold Networks (KANs) 是一种创新的神经网络模型，它挑战了传统多层感知器(MLPs)的设计，通过将激活函数从节点转移到边上来提升模型的性能和可解释性。KAN的核心在于，其所有权重参数均被单变量的样条函数代替，这些函数可根据训练数据自适应调整，从而提供了比固定激活函数更高的灵活性和适应性。
KAN模型
主要分享神经形态计算相关内容
05-05 5518
今天给大家介绍一篇最近论文《KAN:Kolmogorov-Arnold Networks》，这篇论文对于在人工智能领域深耕的人还是推荐去阅读一下（虽然星主还没读过原文，48页==痛苦）。由于星主还没读过原文，这里只简单介绍一下。这篇文章提出了一个叫KAN（Kolmogorov–Arnold Networks）的模型，它对标的是MLPs（多层感知机），这个模型由数学定理Kolmogorov–Arnold启发得出的。该模型最重要的一点就是把激活函数放在了权重上，也就是。
【论文阅读】KAN: Kolmogorov–Arnold Networks（2024）
Glass_Gun的博客
08-27 1583
KANs的提出：作者基于Kolmogorov-Arnold表示定理提出了KANs，作为多层感知器（MLPs）的替代品。与MLPs在节点上使用固定的激活函数不同，KANs在边（权重）上使用可学习的激活函数，即每个权重参数被一个一元函数替代，该函数以样条的形式参数化。理论基础：论文回顾了Kolmogorov-Arnold表示定理，并展示了如何将其应用于设计KAN架构。KANs的数学基础和表达能力得到了理论保证，包括与现有近似和泛化理论的关联。
KAN: Kolmogorov–Arnold Networks
qq_22583741的博客
05-28 1743
受柯尔莫戈罗夫-阿诺德表示定理的启发，我们提出了柯尔莫戈罗夫-阿诺德网络（KANs），作为多层感知器（MLPs）的有前途的替代方案。与 MLPs 的节点（“神经元”）上具有固定的激活函数不同，KANs 的边（“权重”）上具有可学习的激活函数。KANs 完全没有线性权重——每个权重参数都被一个参数化为样条的单变量函数所取代。我们展示了这个看似简单的改变使得 KANs 在准确性和可解释性方面优于 MLPs。
KAN网络（Kolmogorov-Arnold Network）一种新型的神经网络架构
06-06
KANs的数学理论基础来自于Kolmogorov-Arnold表示定理。该定理表明每个多元连续函数都可以表示为单变量连续函数的两层嵌套叠加。在KAN网络中，这种结构通过可学习的单变量函数和加法运算来实现。 学习过程 MLP的边是...
神经网络 数学_神经网络与纯数学之间的联系
cumi6497的博客
08-01 1235
神经网络 数学by Marco Tavora 由Marco Tavora 神经网络与纯数学之间的联系 (Connections between Neural Networks and Pure Mathematics) 深奥定理如何提供有关人工神经网络功能的重要线索 (How an esoteric theorem gives important clues about the power ...
KAN: Kolmogorov–Arnold Networks——科莫哥洛夫-阿诺德网络
Together_CZ的博客
01-26 1192
KAN:Kolmogorov–ArnoldNetworks——科莫哥洛夫-阿诺德网络
KAN：科尔莫戈洛夫-阿诺德网络 KAN: Kolmogorov-Arnold Networks
数智笔记
05-03 1万+
论文链接：https://arxiv.org/pdf/2404.19756代码：https://github.com/KindXiaoming/pykan受科尔莫戈洛夫-阿诺德表示定理的启发，我们提出了科尔莫戈洛夫-阿诺德网络（KANs）作为多层感知器（MLPs）的有希望的替代方案。虽然MLPs在节点（“神经元”）上有固定的激活函数，但KANs在边缘（“权重”）上有可学习的激活函数。KANs根本没有线性权重 - 每个权重参数都被替换为参数化为样条的单变量函数。我们展示了这个看似简单的改变使得KANs在准确性
【AI原理解析】—KAN原理
深耕AI领域，专注中、高人工智能领域发展；同步研究电磁学及超导材料、量子力学；关注能源发展和技术，同时进行医学创新
07-15 1422
Kolmogorov-Arnold Networks（KANs）是一种创新的神经网络架构，其独特的设计使其在处理复杂函数和提供可解释性方面表现出色。
全新神经网络架构KAN一夜爆火！200参数顶30万，MIT华人一作，轻松复现Nature封面AI数学研究...
量子位
05-02 1433
白交 衡宇 发自 凹非寺量子位 | 公众号 QbitAI一种全新的神经网络架构KAN，诞生了！与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊~在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任...
论文分享：Kolmogorov-Arnold Networks(KANs)
qq_73466997的博客
07-15 1891
Kolmogorov-Arnold Networks(KANs)是一种可能代替MLP的网络结构，详细介绍了KANs的原理、代码和相关知识点，同时给出了详细的注释代码。
革新突破：MIT与加州理工联手推出KAN，一举超越传统MLP模型！
LiRongLu_的博客
05-03 4819
在今天的深度学习领域，多层感知机（MLP）长久以来被视作构建神经网络的基石。然而，尽管其在多个领域内取得了巨大成功，MLP在参数效率、准确性和可解释性方面的局限性始终是科研人员试图克服的难题。今天，我们迎来了一场可能彻底改变深度学习面貌的技术革命——由麻省理工学院和加州理工学院联合领衔的研究团队提出了一种名为Kolmogorov-Arnold Networks（KANs）的全新网络结构，它不仅在理论上弥补了MLP的不足，更在实际应用中展现出惊人的性能。
（2024，通用逼近定理（UAT），函数逼近，Kolmogorov–Arnold定理（KAT），任意深度/宽度的网络逼近）综述
qq_44681809的博客
07-28 1915
本文讨论了关于神经网络逼近能力的各种定理，这些定理被称为 UAT。本文从函数逼近的初步结果开始，如泰勒/傅里叶/魏尔斯特拉斯逼近定理和KAT 等，系统地概述了 UAT。此外，本问还讨论了任意深度和宽度​神经网络的逼近能力。
YOLOv10全网最新创新点改进系列：融合全网爆火的KAN网络，(KANS)作为多层感知器(MLP)的替代方案,使KANS在准确性和可解释性方面优于MLP，助力YOLOv10有效涨点！！！
B站 Ai学术叫叫兽的文案地
07-10 2330
KAN来啦！ YOLOv10全网最新创新点改进系列：融合全网爆火的KAN网络，(KANS)作为多层感知器(MLP)的替代方案,使KANS在准确性和可解释性方面优于MLP，助力YOLOv10有效涨点！！！
请问Kolmogorov-Arnold Networks与SINDy有什么异同？
最新发布
03-22
<think>好的，用户现在问的是Kolmogorov-Arnold Networks（KAN）和SINDy的异同。我需要先回忆这两个方法的基本概念和应用领域。 首先，KAN是基于Kolmogorov-Arnold表示定理的神经网络模型，主要用于函数逼近，通过可学习的激活函数来提高准确性和可解释性。而SINDy（稀疏识别非线性动力学）则是用来从数据中发现动力学方程的系统识别方法，强调稀疏性以找到简洁的方程。 接下来要比较它们的异同。相同点可能包括数学基础、可解释性追求和数据驱动。不同点可能在模型结构、应用场景、实现方式和可扩展性等方面。 用户可能对这两个方法不太熟悉，需要解释清楚各自的原理，再对比。要注意用例子和结构图来辅助说明，但用户要求用中文，所以可能需要调整。同时要确保回答结构清晰，分点列出，帮助用户理解。 需要检查是否有遗漏的关键点，比如KAN的网络结构细节，SINDy的稀疏回归步骤。还要确认两者在可解释性上的不同，比如KAN通过结构可视化，SINDy通过方程形式。另外，应用场景的不同也很重要，KAN适用于更广泛的逼近问题，而SINDy专注于动力学系统识别。 最后，总结部分需要简明扼要，强调选择依据。可能用户在选择方法时需要根据问题类型和数据特点来决定，这部分要明确说明。</think>以下是Kolmogorov-Arnold Networks（KAN）与SINDy（Sparse Identification of Nonlinear Dynamics）的对比分析，通过数学原理、方法论和应用场景三个维度展开： --- ### 一、核心思想对比 #### 1. **Kolmogorov-Arnold Networks (KAN)** - **理论基础**：基于Kolmogorov-Arnold表示定理： $$ f(\mathbf{x}) = \sum_{q=1}^{2n+1} \Phi_q\left( \sum_{p=1}^n \psi_{q,p}(x_p) \right) $$ 通过神经网络实现定理中内外层函数的参数化 - **核心创新**：用可学习的一维激活函数（如B样条基函数）替代传统MLP的固定激活函数 #### 2. **SINDy** - **理论基础**：稀疏回归（Sparse Regression）： $$ \dot{\mathbf{x}} = \Theta(\mathbf{x})\Xi $$ 从候选函数库$\Theta(\mathbf{x})$中稀疏识别系数矩阵$\Xi$ - **核心创新**：通过Lasso回归发现动力学方程的最简形式 --- ### 二、方法论对比 | **维度** | KAN | SINDy | |-----------------|----------------------------------|---------------------------------| | **输入输出** | 通用函数逼近 $f: \mathbb{R}^n \to \mathbb{R}^m$ | 动态系统识别 $\dot{\mathbf{x}} = f(\mathbf{x})$ | | **参数化方式** | 可学习的基函数（B样条等） | 预设的候选基函数（多项式、三角函数等） | | **可解释性** | 网络结构可视化（函数成分分解） | 显式微分方程形式 | | **训练目标** | 最小化预测误差 | 最小化方程稀疏性+拟合误差 | | **数据需求** | 需要密集采样点 | 需要时间导数信息（或可数值差分） | --- ### 三、典型应用场景 #### 1. **KAN适用场景** - **高维函数逼近**：如材料特性预测 $E = f(\text{成分}, \text{温度}, \text{应力})$ - **科学规律发现**：通过可视化网络结构解析物理规律 - **示例**：拟合量子化学势能面 $V(r_1,...,r_n)$ #### 2. **SINDy适用场景** - **动力学系统建模**：如流体力学方程发现 $\frac{du}{dt} = \mu \nabla^2 u - u\cdot\nabla u$ - **控制方程重构**：从振动数据识别弹簧-阻尼系统方程 $m\ddot{x} + c\dot{x} + kx = 0$ - **示例**：从心电图数据重建心脏电活动模型 --- ### 四、数学实现对比 #### 1. **KAN网络结构** ```python # 简化的KAN层实现（基于B样条激活） class KANLayer(nn.Module): def __init__(self, in_dim, out_dim, grid_size=5): super().__init__() self.basis = nn.Parameter(torch.randn(out_dim, in_dim, grid_size)) # B样条系数 self.scale = nn.Parameter(torch.ones(out_dim, in_dim)) def forward(self, x): # x: (B, in_dim) x = x.unsqueeze(-1) # (B, in_dim, 1) activations = torch.einsum('bik,oik->bio', x, self.basis) # B样条计算 return torch.sum(activations * self.scale, dim=1) # (B, out_dim) ``` #### 2. **SINDy算法步骤** ```python def sindy(X, dX, library_functions, lambda_=0.1): # X: 状态矩阵 (m samples × n variables) # dX: 导数矩阵 Theta = library_functions(X) # 构建候选库 Xi = np.linalg.lstsq(Theta, dX, rcond=None)[0] # 最小二乘 Xi = lasso_regression(Theta, dX, lambda_) # 稀疏回归 return Xi # 识别出的系数矩阵 ``` --- ### 五、优势与局限对比 | **方法** | 优势 | 局限 | |---------|------------------------------|------------------------------| | **KAN** | 1. 理论保证的通用逼近能力<br>2. 结构可解释性强<br>3. 无需预设基函数 | 1. 训练计算成本高<br>2. 需要精细调参<br>3. 动态系统建模效率较低 | | **SINDy**| 1. 方程形式明确<br>2. 计算效率高<br>3. 适合低维系统 | 1. 依赖导数估计精度<br>2. 基函数需要人工设计<br>3. 高维系统扩展困难 | --- ### 六、选择建议 - **选KAN**：当需要建模复杂非线性关系，且希望解析函数组成结构时 - **选SINDy**：当目标是发现物理系统微分方程，且维度较低（<10维）时 - **混合使用**：可用KAN生成高精度数据，再用SINDy提取简化方程 两者共同推动了可解释机器学习的发展，但分别聚焦于"黑箱模型透明化"（KAN）和"白箱模型自动化"（SINDy）两个不同方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

灿烂李

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值