《KAN》的四个问题（转自b站耿直哥）

已于 2024-05-20 16:03:08 修改
阅读量962 收藏 15
点赞数 18
分类专栏： CV论文笔记 NLP论文笔记 文章标签： 人工智能 机器学习
于 2024-05-20 15:58:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zssss12/article/details/139062689
版权

视频链接

【KAN网络】非线性空间美学的崛起，傅里叶级数转世泰勒展开重生_哔哩哔哩_bilibili

1、KAN和MLP的本质区别

MLP：输入的线性组合外套一层激活函数，从而实现非线性变换 写成矩阵形式更为简洁

对于深度神经网络就是线性组合 激活函数 再组合 再激活 如此反复

把线性空间不断变换扭曲成非线性的空间 这使得原来非线性不可分的数据在新的空间中反倒线性可分了

MLP的优点：结构简洁高效

MLP的缺点：

1、激活函数固定而脆弱，一旦导数为0或者太大，就会产生梯度消失/爆炸，导致反向传播失效

2、线性组合过于简单，想学到有用的信息需要庞大的参数量，效率的低下，处理高维数据或者长期依赖能力有限

  • KAN：针对MLP的缺点做了改进，对于输入直接激活非线性变换然后再组合，在这个两层结构中,相当于把激活函数放到了连接上

以样条函数（作为激活函数）为例，当多个样条函数组合起来就能模拟任意函数

写成公式如上图所示，数学上叫Kolmogorov-Arnold表示定理，这也是KAN网络名字的来源了。

2、KAN的核心原理和主要思想

单丝不成线，独木难成林，单独的KAN结构其实用处不大，KAN的牛逼之处在于扩展了深度网络，写成矩阵形式不再是MLP线性组合与激活的嵌套，而是激活 激活 再激活 

比如选择样条函数进行参数化学习，虽然学起来比线性模型更难，但是非线性表征能力大大提升，能用很少的节点实现更高的准确度，一个两层宽度为10的KAN网络求解偏微分方程比一个四层宽度为100的MLP效果还要好，KAN是这个MLP参数量的1%

3.为什么它有很好的准确性和可解释性

除了上述提到的结构上的优势还必须有好的训练算法，MLP通过增加网络宽度和深度提升性能，需要独立训练不同大小的模型，

而KAN提出了网格扩展技术，先粗后精，递进精调，无需重训就能实现模型精度的提升，

除此之外他还提出了新的网络结构自适应算法：在初始网络上通过稀疏化，剪枝，设定特定的激活函数，训练放射参数，符号化等步骤进行优化，大大提升了网络的可解释性让神经网络这个黑河训练的老大难问题得到了极大的缓解

例：求解f(x,y)=xy网络的结构如下图所示

x和y经过直线求和再二次函数对应x加y的平方，而二者直接二次函数激活对应x方和y方，过反斜杠直线相当于求差，简直就是所见即所得，这带来了两大好处，正着用算法可以实现数据内在模式的探索和发现，反着用能把世界模型和学科知识嵌入网络结构，让Sora这样的模型长上翅膀，实现对物理世界的真实模拟

4、当前的缺点和对AI领域的深远影响

官方的代码目前还非常的幼稚。跑起来比较慢，工程化尚且不足，此外数学层面上核心的K-A表示定理能否扩展到深层网络还有待论证，但瑕不掩瑜KAN的出现如同哥伦布发现了新大陆，对AI尤其是深度学习提供了更广阔的空间

对于3中的技术细节详见下一篇《KAN》论文笔记

MLP 和 KAN 对比
步子哥的博客
03-14 294
MLP（多层感知器）和KAN（Kolmogorov-Arnold Network）是两种不同的神经网络架构，它们在设计原理、性能表现、适用场景等方面存在诸多差异。
时序预测 | Python实现KAN+LSTM时间序列预测
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
09-23 1019
时序预测 | Python实现KAN+LSTM时间序列预测
KAN和MLP
qq_52806062的博客
06-18 941
固定的。
数学遇上人工智能，深度学习架构迎来最强挑战者 KAN，MLP 的时代结束了？
AI科技大本营
05-03 7754
多层感知器（MLP, Multilayer Perceptron）作为人工神经网络的一个基本架构，一直在历史上扮演着至关重要的角色。MLP 可以被视为深度学习领域的“基石”或“基础构件”，它的意义在于：基础模型：MLP 作为最早被广泛研究和应用的神经网络模型之一，是许多复杂深度学习架构的起点和基础。它奠定了神经网络能够解决非线性问题的基础，是理解更高级神经...
一文通透想取代MLP的KAN：通俗理解Kolmogorov-Arnold定理和KAN的方方面面
热门推荐
结构之法 算法之道
05-20 2万+
24年5.19，我司七月的「LLM论文100课」里的一学员在课程q群内提到，“最近总是看到KAN，KAN这个概念重要吗？需要了解学习吗？”，我当时回复道：KAN值得学习和了解，咱们课程上 也要讲一下如此，本文也就出来了。
全新神经网络架构KAN——本文用于学习与探索
xiao_ling_yun的博客
05-11 1万+
24年新神经网络结构KAN论文学习 + 解析，KAN有望作为MLP的更优平替
数学遇上人工智能，深度学习架构迎来最强挑战者 KAN，MLP 的时代结束了
人工智能学家
05-04 704
来源：《新程序员》编辑部文：王启隆多层感知器（MLP, Multilayer Perceptron）作为人工神经网络的一个基本架构，一直在历史上扮演着至关重要的角色。MLP 可以被视为深度学习领域的“基石”或“基础构件”，它的意义在于：基础模型：MLP 作为最早被广泛研究和应用的神经网络模型之一，是许多复杂深度学习架构的起点和基础。它奠定了神经网络能够解决非线性问题的基础，是理解更高级神经网络结构...
KAN Convolutions （KAN卷积）的Pytorch实现
05-22
KAN是当前网络结构的主要潮流 这里是基于Pytorch实现的KAN卷积网络的结构 ...该项目将 Kolmogorov-Arnold 网络 （KAN） 创新架构的理念扩展到卷积层，将卷积的经典线性变换更改为每个像素中可学习的非线性激活。
KAN+LSTM时间序列预测（Python完整源码和数据）
10-09
KAN作为这两年最新提出的机制，目前很少人用，很适合作为时间序列预测的创新点，可以结合常规的网络加上个优化方法做创新。适合功率预测，负荷预测，流量预测，浓度预测，机械领域预测等等各种时间序列预测。 KAN...
Kan网络pytorch的实现
05-31
这使得KAN网络能够更灵活地调整每个连接上的激活函数，从而提高模型的表示能力。 非线性核函数：KAN网络可以使用非线性核函数来替代MLP“边”上的线性函数，进一步增强了模型的非线性处理能力。 逼近精度：KAN网络...
KAN人工智能源码和教程
05-15
而在大模型问题的解决上，KAN天然就能规避掉灾难性遗忘问题，并且注入人类的习惯偏差或领域知识非常容易。从数学定理方面来看，MLP的灵感来自于通用近似定理，即对于任意一个连续函数，都可以用一个足够深的神经网络...
全新神经网络架构KAN一夜爆火
weixin_45871964的博客
05-23 1897
MLP 在节点（“神经元”）上具有固定的激活函数，而 KAN 在边（“权重”）上具有可学习的激活函数。在数据拟合和 PDE 求解中，较小的 KAN 可以比较大的 MLP 获得更好的准确性。KAN的架构设计来自一个数学问题：对一个由输入输出对 {xi, yi} 组成的有监督学习任务，寻找函数f 使得所有数据点的 yi≈ f (xi)。相对MLP，KAN也具备更好的可解释性，适合作为数学和物理研究中的辅助模型，帮助发现和寻找更基础的数值规律。3）可以使用非线性核函数来替代MLP“边”（Edge）上的线性函数；
KAN网络最全解析——比肩MLP和Transformer？
小嘤熊的博客
05-11 5729
如果你想要进一步了解更多的相关知识，
一文白话搞懂【KAN】网络，真有那么神奇？
全栈O-Jay的博客
05-22 1万+
良心总结，白话搞懂【KAN】网络，神奇但没有那么神奇。
KAN网络技术最全解析—最热KAN能否干掉MLP和Transformer？（收录于GPT-4/ChatGPT技术与产业分析）
chenweiPhD的博客
05-05 1万+
陈巍：本文详细分析了KAN的主要思想与架构，适合技术入门与相关领域投资人阅读
全新神经网络架构KAN一夜爆火！200参数顶30万，MIT华人一作，轻松复现Nature封面AI数学研究...
量子位
05-02 1285
白交 衡宇 发自 凹非寺量子位 | 公众号 QbitAI一种全新的神经网络架构KAN，诞生了！与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊~在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任...
KAN网络（Kolmogorov-Arnold Networks）Al领域最新神作---大白话详解
m0_59471336的博客
06-07 3672
个人观点：整个网络结构只有非线性映射，应该会比MLP中 使用线性相加+局部非线性的方法降低不少参数将每个激活函数都可视化且可调，可解释性大大增强（我觉得这是最diao的）但是调优过程maybe会无比漫长且痛苦，但是！！！肯定会比深度学习中的炼丹简单，起码会有改进思路源码已经贴在文章开头了，有兴趣的伙伴可以去看看后续可能会出代码讲解，如果大家感兴趣的话~~~
AI 学习笔记（持续更新）
weixin_43501634的博客
11-26 1757
通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解的过程可以显著提升大模型的性能。而这一系列推理的中间步骤就被称为思维链（Chain of Thought）。
kan网络训练自己的数据集
最新发布
02-25
### 使用自定义数据集进行神经网络训练 为了使用自定义的数据集进行卷积神经网络(CNN)的训练，可以遵循以下方法来准备和加载数据，并构建相应的模型。 #### 数据预处理与加载 对于特定地质样本分类的任务，如区分不同类型的岩石（膏岩、灰岩、灰质膏岩），需要先准备好标注好的图像文件夹结构。假设每种类别有自己的子目录，在这些子目录下放置对应类别的图片。接着创建一个继承`Dataset`类的新类用于读取并转换成张量形式输入给CNN： ```python class RockDataset(Dataset): """Rock dataset.""" def __init__(self, root_dir, transform=None): """ Args: root_dir (string): Directory with all the images. transform (callable, optional): Optional transform to be applied on a sample. """ self.root_dir = root_dir self.transform = transform # 获取所有图片路径及其标签 self.image_paths = [] self.labels = [] for label in ['Anhydrite_rock', 'Limestone', 'GrayAnhydrite_rock']: path = os.path.join(root_dir, label) files = os.listdir(path) for file_name in files: img_path = os.path.join(path, file_name) self.image_paths.append(img_path) if label == "Anhydrite_rock": lbl = 0 elif label == "Limestone": lbl = 1 else: lbl = 2 self.labels.append(lbl) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): image = Image.open(self.image_paths[idx]) if self.transform: image = self.transform(image) label = self.labels[idx] return {'image': image, 'label': label} ``` 此部分代码实现了从指定根目录读入各类别下的图像，并将其转化为适合传递到深度学习框架中的格式[^1]。 #### 构建与配置模型 接下来定义所使用的卷积神经网络架构以及优化器设置等参数: ```python import torchvision.models as models model = models.resnet18(pretrained=True) num_ftrs = model.fc.in_features model.fc = nn.Linear(num_ftrs, 3) # 输出层调整为三分类问题 if torch.cuda.is_available(): device = torch.device('cuda') else: device = torch.device('cpu') criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) model.to(device=device) ``` 这里选择了ResNet-18作为基础模型，并针对具体应用场景修改了最后一层全连接层以适应新的输出维度需求；同时也设置了损失函数和优化算法[^2]。 #### 开始训练过程 最后编写循环迭代批次数据完成整个训练流程： ```python from tqdm import trange n_epochs = 10 batch_size = 128 for epoch in range(n_epochs): running_loss = 0.0 train_loader = DataLoader(RockDataset('./data/train/', transform), batch_size=batch_size, shuffle=True) progress_bar = trange(len(train_loader)) for i_batch, sample_batched in zip(progress_bar, train_loader): inputs = sample_batched['image'].to(device) labels = sample_batched['label'].to(device).long() optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() progress_bar.set_description(f'Epoch {epoch}/{n_epochs}, Loss: {running_loss/(i_batch+1)}') print('\nFinished Training.') ``` 上述代码展示了完整的训练周期内如何获取批量化的训练样例并通过反向传播更新权重的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值