关于对Kolmogorov-Arnold Networks (KANs)论文的一些理解

最新推荐文章于 2025-01-26 01:00:00 发布
最新推荐文章于 2025-01-26 01:00:00 发布
阅读量2.4k 收藏 24
点赞数 15
文章标签： 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ermu114/article/details/138652206
版权

“MIT全新神经网络结构KANs，200参数顶30万！3天1.4k star！轻松复现Nature封面AI数学研究！”。这个爆火的KANs是一种新型的神经网络，受到Kolmogorov-Arnold表示定理的启发，旨在替代传统的多层感知器（MLPs）。KANs的特点是其激活函数是可学习的，并且位于网络的边（权重）上，而不是节点（神经元）上。KANs没有线性权重矩阵，而是将每个权重参数替换为一个可学习的单变量函数，该函数以样条曲线的形式参数化。相信看完这段后绝大多数读者就晕了，那我试着做一些粗浅的解读。

一、什么是Kolmogorov-Arnold表示定理?

在1900年，数学家大卫·希尔伯特提出了23个数学问题，这些问题被认为是数学领域的重要挑战。第13问题是关于是否存在一个通用的方法，能够用有限次的算术运算和根号运算来表示任意一个七次方程的解。这个问题后来被推广为是否可以用有限个二元连续函数来表示任意多元连续函数。Kolmogorov-Arnold表示定理是对希尔伯特第13问题的一个回答。该定理指出，任意一个定义在有界域上的多变量连续函数都可以表示为有限数量的单变量连续函数的两层嵌套叠加的形式。换句话说，无论一个函数有多少个变量，它都可以通过一系列单变量函数的组合来表达。

简单一句话，Kolmogorov-Arnold表示定理告诉我们，复杂的任务可以通过简单的步骤组合来完

最低0.47元/天 解锁文章
基于TCN-Transformer-KAN混合模型实现电力负荷多变量时序预测——柯尔莫哥洛夫-阿诺德网络模型融合详解(PyTorch版)
时序笔记
11-25 2917
本文提出了一种基于TCN-Transformer-KAN混合模型的电力负荷时序预测方法，旨在通过结合三者的长处，进一步提高负荷预测的精度和效率。具体而言，TCN负责提取时间序列数据的局部特征和短期依赖关系，Transformer捕捉全局特征和长程依赖关系，而KAN则利用其强大的函数逼近能力处理复杂的非线性关系。三者相辅相成，共同提升模型的预测性能。本文详细阐述了TCN-Transformer-KAN混合模型的构建过程，包括数据预处理、模型结构设计、训练与优化策略等。
YOLOv8改进 | Conv篇 | 2024最新Kolmogorov-Arnold网络架构下的KANConv（包含九种不同类型激活函数的KANConv2d）
Snu77的博客
10-24 4258
本文给大家带来的改进机制是2024最新的，Kolmogorov-Arnold 网络（Convolutional KANs），这种架构旨在将 Kolmogorov-Arnold 网络（KANs）的非线性激活函数整合到卷积层中，九种KANConv2d分别是：WavKANConv2d, RBFKANConv2d, KANConv2d, ReLUKANConv2d, FasterKANConv2d, ChebyKANConv2d, JacobiKANConv2d, FastKANConv2d, GRAMKANCon
KAN神经网络简短介绍
Neo的战斗部
05-12 2805
Kolmogorov-Arnold Networks (KANs) 是一种创新的神经网络模型，它挑战了传统多层感知器(MLPs)的设计，通过将激活函数从节点转移到边上来提升模型的性能和可解释性。KAN的核心在于，其所有权重参数均被单变量的样条函数代替，这些函数可根据训练数据自适应调整，从而提供了比固定激活函数更高的灵活性和适应性。
KAN: Kolmogorov–Arnold Networks——科莫哥洛夫-阿诺德网络
Together_CZ的博客
01-26 916
KAN:Kolmogorov–ArnoldNetworks——科莫哥洛夫-阿诺德网络
希尔伯特第 13 问题，Kolmogorov–Arnold representation theorem 和通用近似定理（Universal approximation theorem）
qq_32515081的博客
03-17 8173
关于这个方程，希尔伯特问它的解xxx，作为三个变量aaabbb和ccc的函数，是否可以表示为有限数量的二元函数的组合。
论文解读：KAN: Kolmogorov–Arnold Networks
热门推荐
zenRRan的博客
05-07 1万+
五一假期刚开始没两天的时候，刷到了一篇火遍国内外AI圈的论文，叫做 KAN: Kolmogorov–Arnold Networks , 尤其国内某些科技媒体铺天盖地的宣传更是让我提起了兴趣，在假期结束之前，抽个空读一下看看是怎么个事。读了之后发现，仅仅只是高数、线代和概率论这些数学知识是看不懂的，最好还需要了解一点数分方面的知识，反正我是借助了ChatGPT才能勉强看完，这里我就从一个简单的科普...
[论文翻译]：KAN：科尔莫戈洛夫-阿诺德网络
强化学习曾小健
05-04 3435
受科尔莫戈洛夫-阿诺德表示定理的启发，我们提出了科尔莫戈洛夫-阿诺德网络（KANs）作为多层感知器（MLPs）的有希望的替代方案。虽然MLPs在节点（“神经元”）上有固定的激活函数，但KANs在边缘（“权重”）上有可学习的激活函数。KANs根本没有线性权重 - 每个权重参数都被替换为参数化为样条的单变量函数。我们展示了这个看似简单的改变使得KANs在准确性和可解释性方面优于MLPs。在准确性方面，较小的KANs在数据拟合和PDE求解方面可以达到与较大的MLPs相媲美甚至更好的准确性。
KAN模型
主要分享神经形态计算相关内容
05-05 4937
今天给大家介绍一篇最近论文《KAN:Kolmogorov-Arnold Networks》，这篇论文对于在人工智能领域深耕的人还是推荐去阅读一下（虽然星主还没读过原文，48页==痛苦）。由于星主还没读过原文，这里只简单介绍一下。这篇文章提出了一个叫KAN（Kolmogorov–Arnold Networks）的模型，它对标的是MLPs（多层感知机），这个模型由数学定理Kolmogorov–Arnold启发得出的。该模型最重要的一点就是把激活函数放在了权重上，也就是。
【论文阅读】KAN: Kolmogorov–Arnold Networks（2024）
Glass_Gun的博客
08-27 1437
KANs的提出：作者基于Kolmogorov-Arnold表示定理提出了KANs，作为多层感知器（MLPs）的替代品。与MLPs在节点上使用固定的激活函数不同，KANs在边（权重）上使用可学习的激活函数，即每个权重参数被一个一元函数替代，该函数以样条的形式参数化。理论基础：论文回顾了Kolmogorov-Arnold表示定理，并展示了如何将其应用于设计KAN架构。KANs的数学基础和表达能力得到了理论保证，包括与现有近似和泛化理论的关联。
KAN: Kolmogorov–Arnold Networks
qq_22583741的博客
05-28 1639
受柯尔莫戈罗夫-阿诺德表示定理的启发，我们提出了柯尔莫戈罗夫-阿诺德网络（KANs），作为多层感知器（MLPs）的有前途的替代方案。与 MLPs 的节点（“神经元”）上具有固定的激活函数不同，KANs 的边（“权重”）上具有可学习的激活函数。KANs 完全没有线性权重——每个权重参数都被一个参数化为样条的单变量函数所取代。我们展示了这个看似简单的改变使得 KANs 在准确性和可解释性方面优于 MLPs。
KAN网络（Kolmogorov-Arnold Network）一种新型的神经网络架构
06-06
KANs的数学理论基础来自于Kolmogorov-Arnold表示定理。该定理表明每个多元连续函数都可以表示为单变量连续函数的两层嵌套叠加。在KAN网络中，这种结构通过可学习的单变量函数和加法运算来实现。 学习过程 MLP的边是...
神经网络 数学_神经网络与纯数学之间的联系
cumi6497的博客
08-01 1209
神经网络 数学by Marco Tavora 由Marco Tavora 神经网络与纯数学之间的联系 (Connections between Neural Networks and Pure Mathematics) 深奥定理如何提供有关人工神经网络功能的重要线索 (How an esoteric theorem gives important clues about the power ...
KAN：科尔莫戈洛夫-阿诺德网络 KAN: Kolmogorov-Arnold Networks
数智笔记
05-03 9524
论文链接：https://arxiv.org/pdf/2404.19756代码：https://github.com/KindXiaoming/pykan受科尔莫戈洛夫-阿诺德表示定理的启发，我们提出了科尔莫戈洛夫-阿诺德网络（KANs）作为多层感知器（MLPs）的有希望的替代方案。虽然MLPs在节点（“神经元”）上有固定的激活函数，但KANs在边缘（“权重”）上有可学习的激活函数。KANs根本没有线性权重 - 每个权重参数都被替换为参数化为样条的单变量函数。我们展示了这个看似简单的改变使得KANs在准确性
【AI原理解析】—KAN原理
深耕AI领域，专注中、高人工智能领域发展；同步研究电磁学及超导材料、量子力学；关注能源发展和技术，同时进行医学创新
07-15 1253
Kolmogorov-Arnold Networks（KANs）是一种创新的神经网络架构，其独特的设计使其在处理复杂函数和提供可解释性方面表现出色。
全新神经网络架构KAN一夜爆火！200参数顶30万，MIT华人一作，轻松复现Nature封面AI数学研究...
量子位
05-02 1203
白交 衡宇 发自 凹非寺量子位 | 公众号 QbitAI一种全新的神经网络架构KAN，诞生了！与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊~在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任...
论文分享：Kolmogorov-Arnold Networks(KANs)
qq_73466997的博客
07-15 1498
Kolmogorov-Arnold Networks(KANs)是一种可能代替MLP的网络结构，详细介绍了KANs的原理、代码和相关知识点，同时给出了详细的注释代码。
YOLOv10全网最新创新点改进系列：融合全网爆火的KAN网络，(KANS)作为多层感知器(MLP)的替代方案,使KANS在准确性和可解释性方面优于MLP，助力YOLOv10有效涨点！！！
B站 Ai学术叫叫兽的文案地
07-10 2182
KAN来啦！ YOLOv10全网最新创新点改进系列：融合全网爆火的KAN网络，(KANS)作为多层感知器(MLP)的替代方案,使KANS在准确性和可解释性方面优于MLP，助力YOLOv10有效涨点！！！
革新突破：MIT与加州理工联手推出KAN，一举超越传统MLP模型！
LiRongLu_的博客
05-03 4677
在今天的深度学习领域，多层感知机（MLP）长久以来被视作构建神经网络的基石。然而，尽管其在多个领域内取得了巨大成功，MLP在参数效率、准确性和可解释性方面的局限性始终是科研人员试图克服的难题。今天，我们迎来了一场可能彻底改变深度学习面貌的技术革命——由麻省理工学院和加州理工学院联合领衔的研究团队提出了一种名为Kolmogorov-Arnold Networks（KANs）的全新网络结构，它不仅在理论上弥补了MLP的不足，更在实际应用中展现出惊人的性能。
kan算法
最新发布
04-03
### Kan算法简介 Kolmogorov-Arnold Networks (KANs) 是一种基于 Kolmogorov-Arnold 表达定理的神经网络架构，旨在解决高维数据建模问题并提高模型的可解释性。该算法的核心在于利用特定的数学结构来逼近复杂的多变量函数[^3]。 #### 数学基础 KAN 的理论基础来源于 Kolmogorov 和 Arnold 提出的一个重要结论：任何连续的多元函数都可以被分解为若干一元函数的组合形式。具体而言，对于任意 $ n $ 维连续函数 $ f(x_1, x_2, ..., x_n) $，可以将其表示为如下形式： $$ f(\mathbf{x}) = \sum_{i=1}^{N} g_i\left( h_i(x_1) + h_i(x_2) + ... + h_i(x_n) \right), $$ 其中 $ g_i $ 和 $ h_i $ 都是一元连续函数，$ N $ 是有限整数。这种表达方式使得 KAN 能够通过简单的运算（如加法、减法和平方）构建高度复杂的映射关系。 --- ### 工作原理 KAN 的工作流程主要分为以下几个部分： 1. **输入层重构** 输入向量 $\mathbf{x}$ 被转换成一组中间特征表示。这些特征由一系列简单的一元函数组成，通常采用正弦或线性变换的形式。这一过程简化了后续计算的复杂度。 2. **隐含层处理** 中间特征经过进一步加工后送入隐藏层。每一层都执行类似于上述公式的操作，即通过对多个子模块的结果求和完成最终输出预测。值得注意的是，在某些实现中，“减法”会被替换为“加法”的变体以优化性能[^2]。 3. **输出层生成** 输出节点负责汇总来自各路径的信息，并给出目标值估计。由于整个体系仅依赖基本算术运算符，因此具备较高的数值稳定性以及较低的时间开销特点。 以下是伪代码描述： ```python def kan_network(input_vector): # Step 1: Input transformation using unary functions transformed_inputs = [unary_function(xi) for xi in input_vector] # Step 2: Hidden layer processing with summation of components hidden_output = sum([g(h(transformed_input)) for h in inner_functions]) # Step 3: Output generation via final aggregation step output_value = aggregate(hidden_output) return output_value ``` --- ### 实现细节 尽管 KAN 的理念较为抽象，但在现代框架下其实现有多种方法可供选择。例如 TensorFlow 或 PyTorch 可用于搭建此类特殊拓扑结构。下面展示了一个简化的 Python 版本示例程序片段： ```python import numpy as np class SimpleKAN: def __init__(self, num_inner_funcs=5): self.num_inner_funcs = num_inner_funcs def unary_func(self, x): return np.sin(np.pi * x) def inner_func(self, x): return x ** 2 def predict(self, X): results = [] for sample in X: transformed = [self.unary_func(feature) for feature in sample] aggregated = sum([self.inner_func(t) for t in transformed]) results.append(aggregated) return np.array(results) # Example usage kan_model = SimpleKAN() X_test = [[0.1], [0.5], [-0.8]] print(kan_model.predict(X_test)) ``` 此脚本定义了一种非常基础版本的 KAN 架构，展示了如何逐级应用单元与内部功能来获得期望结果。 --- ### 应用场景与发展前景 目前来看，KAN 主要应用于那些需要兼顾精度同透明性的领域之中，比如金融风险评估或者医疗诊断辅助工具开发等方面。随着研究深入和技术进步，预计未来几年里会有更多改进型方案涌现出来，从而推动人工智能技术向着更加智能化方向迈进一大步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

灿烂李

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值