KAN(Kolmogorov-Arnold Network)的理解 2

最新推荐文章于 2024-06-18 22:07:25 发布
最新推荐文章于 2024-06-18 22:07:25 发布
阅读量259 收藏 2
点赞数 10
分类专栏： KAN AI for physics 文章标签： KAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CRUSH8496052/article/details/139252938
版权

系列文章目录

第一部分 KAN的理解——数学背景
第二部分 KAN的理解——网络结构

文章目录

前言

这里记录我对于KAN的探索过程，每次会尝试理解解释一部分问题。欢迎大家和我一起讨论。
KAN tutorial

KAN网络结构：Kolmogorov-Arnold Network

在这里插入图片描述

和MLP的区别是，KAN的weight是可学习的：
在这里插入图片描述
在这里插入图片描述作者一方面希望其能够学习函数的外部结构，对于离散的，存在维度灾难的数据得以学习，因此存在类MLP的外部构造。另一方面又希望其能够达到尽可能准确的内部精度，因此存在类样条函数的结构。

斑布斑布
关注
  • 10
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
『大模型笔记』MIT 最新的科尔莫戈洛夫-阿诺德网络（Kolmogorov-Arnold Network，KAN）简介
AI新视界
05-13 163
MIT 最新的科尔莫戈洛夫-阿诺德网络（Kolmogorov-Arnold Network，KAN）简介。
Kolmogorov–Arnold Networks （KAN） 即将改变 AI 世界
gongdiwudu的专栏
06-06 1985
在人工智能中，多层感知器（MLP）是基石，其神经架构塑造了无数应用的格局。然而，Kolmogorov-Arnold Networks（KAN）试图通过重新构想神经元在神经网络中工作的本质来突破这一基础。
KAN~~
whaosoft143ai的博客
05-02 334
本文的贡献在于将原始的 Kolmogorov-Arnold 表示泛化到任意宽度和深度，使其在当今的深度学习领域焕发新生，同时利用大量的实证实验来突出其作为「AI + 科学」基础模型的潜在作用，这得益于 KAN 的准确性和可解释性。此外，作者在表 2 中报告了他们自动发现的特殊函数的 KAN（出人意料地紧凑）的形状。他们测量了 L^2 norm 和能量（H^1）norm 的误差，并观察到 KAN 在使用更小的网络和更少的参数的情况下，实现了更好的 scaling law 和更小的误差，见图 3.3。
KAN学习笔记
Freeloop_hg的博客
05-06 620
4.如前所述，这样的网络被认为太简单，无法在实践中任意地用光滑样条近似任何函数!因此，我们将我们的KAN概括为更广泛和更深。目前还不清楚如何使KANs更深，因为Kolmogorov-Arnold表示对应于两层的KANs。据我们所知，目前还没有一个“一般化”版本的定理对应于更深层次的KANs。1.mlp在节点(“神经元”)上有固定的激活函数，而kan在边缘(“权重”)上有可学习的激活函数。kan根本没有线性权重——每个权重参数都被参数化为样条的单变量函数所取代。
KAN和MLP
最新发布
qq_52806062的博客
06-18 355
固定的。
全新神经网络架构KAN——本文用于学习与探索
热门推荐
xiao_ling_yun的博客
05-11 1万+
24年新神经网络结构KAN论文学习 + 解析，KAN有望作为MLP的更优平替
下一个AI前沿与革命：KAN 下
鲁班模锤
05-06 1209
​ 上篇文章初步的介绍了KAN，记得在《重新审视神经网络》这篇文章中提及，任何人都可以构建自己心目中的神经网络。当小编还在准备Mamba，说时迟，那时快。在不断发展的AI领域，五一期间来自麻省理工学院的创新框架柯尔莫哥洛夫-阿诺德网络（KAN）正在准备以独特的模式改变传统多层感知机模型。
数学遇上人工智能，深度学习架构迎来最强挑战者 KAN，MLP 的时代结束了
人工智能学家
05-04 471
来源：《新程序员》编辑部文：王启隆多层感知器（MLP, Multilayer Perceptron）作为人工神经网络的一个基本架构，一直在历史上扮演着至关重要的角色。MLP 可以被视为深度学习领域的“基石”或“基础构件”，它的意义在于：基础模型：MLP 作为最早被广泛研究和应用的神经网络模型之一，是许多复杂深度学习架构的起点和基础。它奠定了神经网络能够解决非线性问题的基础，是理解更高级神经网络结构...
KAN: Kolmogorov–Arnold Networks
qq_22583741的博客
05-28 1284
受柯尔莫戈罗夫-阿诺德表示定理的启发，我们提出了柯尔莫戈罗夫-阿诺德网络（KANs），作为多层感知器（MLPs）的有前途的替代方案。与 MLPs 的节点（“神经元”）上具有固定的激活函数不同，KANs 的边（“权重”）上具有可学习的激活函数。KANs 完全没有线性权重——每个权重参数都被一个参数化为样条的单变量函数所取代。我们展示了这个看似简单的改变使得 KANs 在准确性和可解释性方面优于 MLPs。
Kolmogorov-Arnold Network (KAN) 的高效Pytorch实现
05-06
Kolmogorov-Arnold Network (KAN) 的高效Pytorch实现 原始实现的性能问题主要是因为它需要扩展所有中间变量来执行不同的激活函数。 对于具有输入和输出的层，原始实现需要将输入扩展为具有形状的张量来执行激活函数...
KAN网络（Kolmogorov-Arnold Network）一种新型的神经网络架构
06-06
KANs的数学理论基础来自于Kolmogorov-Arnold表示定理。该定理表明每个多元连续函数都可以表示为单变量连续函数的两层嵌套叠加。在KAN网络中，这种结构通过可学习的单变量函数和加法运算来实现。 学习过程 MLP的边是...
机器学习笔记 KAN网络架构简述（Kolmogorov-Arnold Networks）
学以致用 知行合一
05-15 613
在最近的研究中，出现了号称传统多层感知器 (MLP) 的突破性替代方案，重塑了人工神经网络 (ANN) 的格局。这种创新架构被称为柯尔莫哥洛夫-阿诺德网络 (KAN)，它提出了一种受柯尔莫哥洛夫-阿诺德表示定理启发的函数逼近的方法。与 MLP 不同，MLP 依赖于各个节点的固定激活函数，KAN 引入了边缘上的可学习激活函数，从根本上改变了神经网络的结构。这种独特的设计功能完全消除了线性权重矩阵，代之以可学习的一维样条函数。就是说KAN根本没有线性权重，每个权重参数都被参数化为样条函数的单变量函数所取代。
KAN网络最全解析——比肩MLP和Transformer？
小嘤熊的博客
05-11 4800
如果你想要进一步了解更多的相关知识，
KAN(Kolmogorov-Arnold Network)的理解 3
CRUSH8496052的博客
06-03 1454
这里记录我对于KAN的探索过程，每次会尝试理解解释一部分问题。欢迎大家和我一起讨论。
KAN网络架构浅析
sheex2012的博客
06-04 1554
与 MLP 类似，KAN 实际上也具有全连接结构，区别在于，MLPs在节点（神经元）上放置固定的激活函数，而 KAN在边缘（权重）上放置的是可学习的激活函数。，与原始传统的MLP相比，特别是现代MLP采用了更为简单的RELU取代Sigmod激活函数，有效解决了梯度爆炸或消失问题，从而大大降低了深度网络构建和训练难度（当然，还得有Resnet加持）。3. KAN在不同类型的任务和数据集上的泛化能力还需要进一步验证，github上已经有很多关于KAN的实验，不同的研究者的实验结果并不一致。
替代MLP的KAN，被开源项目扩展到卷积了
我爱计算机视觉
05-20 614
关注公众号，发现CV技术之美本文转自机器之心。本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。KAN 在准确性和可解释性方面表现优于 MLP，而且它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 以更小的网络和更高的自动化程度重现了 DeepMind 的结果。具体来说，DeepMind 的 MLP 有大约 300000 个...
[KAN学习日记](2)使用KAN完成分类与回归任务
weixin_45304576的博客
06-09 1508
教程地址:https://github.com/KindXiaoming/pykan/blob/master/README.md本系列文章用于记录自己学习过程。
KAN神经网络 | KAN神经网络基础附代码
天天酷科研的博客
05-31 2177
KAN神经网络 | KAN神经网络基础附代码
请详细讲讲Kolmogorov-Arnold表示定理
05-08
Kolmogorov-Arnold表示定理是一个关于可积系统的基本结果，它表明对于一个具有KAM结构的可积系统，其相空间中的大部分轨道都是稳定的，且在某些特定的共振条件下，存在一些不稳定轨道。这些不稳定轨道通过Kolmogorov-Arnold表示定理可以被精确地描述出来。这个定理是由安德烈·科尔莫戈洛夫和弗拉基米尔·阿诺尔德在20世纪60年代提出的。 具体来说，Kolmogorov-Arnold表示定理表明，在某些特定的共振条件下，可积系统中相空间中的一些轨道会发生扰动，从而失去稳定性。这些轨道可以用一组函数表示出来，这组函数称为Kolmogorov-Arnold-Moser（KAM）正则变量。在这些正则变量下，轨道与可积系统中的一些标准轨道非常接近，但仍然有一些微小的扰动。这些扰动是由共振引起的，而共振则是由多个频率之间的关系引起的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值