在人工智能领域,Kolmogorov-Arnold Networks(KAN)正成为一种极具潜力的创新技术。KAN的核心在于将激活函数置于网络的边(连接)上,而不是传统的节点上,并通过B样条函数进行参数化,使得网络能够以较少的参数量实现高精度的预测。这种设计不仅提高了模型的透明度和可解释性,还为科学研究提供了新的视角。KAN在多个领域展现出卓越性能,包括时间序列预测、图学习任务以及卷积神经网络的改进。
随着KAN技术的不断发展,其在人工智能各领域的应用前景将更加广阔。我整理了10篇关于【KAN】的最新相关论文,全部论文PDF版,工中号 沃的顶会 回复“10kan”即可领取。
AF-KAN:ACTIVATION FUNCTION-BASED KOLMOGOROV-ARNOLD NETWORKS FOR EFFICIENT REPRESENTATION LEARNING
文章解析
文章针对KANs训练时间长和参数效率低的问题,提出AF-KAN。它基于ReLU-KAN进行改进,融入多种激活函数、函数组合及参数减少方法。
通过在MNIST和Fashion-MNIST数据集上实验,验证其性能优势,同时分析了模型的局限性与改进方向。
创新点
拓展ReLU-KAN,引入多种激活函数及其组合,增强模型特征提取能力,改善ReLU-KAN对负输入处理的不足。
应用注意力机制和数据归一化方法降低参数数量,使AF-KAN在保持与MLP相似参数数量时,性能更具竞争力。
系统研究不同激活函数、函数类型、网格大小和样条阶数对模型性能影响,确定AF-KAN的最优配置。
研究方法
理论改进:基于Kolmogorov-Arnold表示定理,改进网络结构,设计AF-KAN,明确其各组件原理与作用。
实验对比:以MNIST和Fashion-MNIST数据集为基础,对比AF-KAN与MLP、其他KANs的性能,设置相同参数和相同网络结构两种对比场景。
消融实验:对AF-KAN的激活函数、函数类型、网格大小、样条阶数和数据归一化等进行消融研究,探究各因素对模型性能的影响。
研究结论
AF-KAN在近似参数数量下,性能显著优于MLP和其他KANs;在相同网络结构下,即便参数少6 - 10倍,仍能保持较高准确率。
确定了AF-KAN的较优配置,如SiLU激活函数、quad1函数类型、较小网格大小和三阶样条等,且数据归一化对提升模型性能至关重要。
AF-KAN存在训练时间长和FLOPs消耗多的问题,但通过优化有提升空间,未来可拓展到更多复杂任务和数据集上进行研究 。
Semi-KAN:KAN Provides an Effective Representation for Semi-Supervised Learning in Medical Image Segmentation
文章解析
文章针对医学图像分割标注数据匮乏问题,提出Semi-KAN架构。
该架构结合CNN与KAN,在四个公开数据集上实验,证明其在半监督学习场景下性能卓越,为医学图像分割提供新方案,且提升了KAN在该领域的可解释性。
创新点
首次将KAN应用于半监督医学图像分割,提出Semi-KAN架构,结合CNN局部特征与KAN高层语义特征提取能力。
设计多分支U-Net架构与不确定性估计一致性损失,平衡模型性能与计算成本,提升特征学习效果。
提出增强Semi-KAN可解释性的方法,解决医学图像分析中KAN可解释性应用的难题。
研究方法
架构构建:设计基于KAN的U-Net管道,由卷积块和KAN-Conv块组成,利用共享编码器和多解码器结构。
实验对比:在多个公开数据集上,将Semi-KAN与前沿半监督学习方法对比,评估指标包括Dice分数、Jaccard指数等。
消融实验:探究激活函数、特征表示学习等对Semi-KAN性能的影响,验证模型各组件有效性。
研究结论
Semi-KAN在四个数据集上表现出色,即使标注数据极少也能保持较高分割精度,超越多数对比方法。
架构中的可学习激活函数显著提升分割性能,多解码器架构和不确定性估计一致性损失有效增强特征表示学习。
该研究凸显KAN在半监督医学图像分割中的潜力,为医学图像分析领域提供了更有效的方法和思路。