KAN: Kolmogorov–Arnold Networks
摘要
受柯尔莫戈罗夫-阿诺德表示定理的启发,我们提出了柯尔莫戈罗夫-阿诺德网络(KANs),作为多层感知器(MLPs)的有前途的替代方案。与 MLPs 的节点(“神经元”)上具有固定的激活函数不同,KANs 的边(“权重”)上具有可学习的激活函数。KANs 完全没有线性权重——每个权重参数都被一个参数化为样条的单变量函数所取代。我们展示了这个看似简单的改变使得 KANs 在准确性和可解释性方面优于 MLPs。在准确性方面,规模更小的 KANs 可以在数据拟合和偏微分方程求解中实现与更大规模的 MLPs 相当或更好的准确性。从理论和经验上看,KANs 具有比 MLPs 更快的神经缩放规律。在可解释性方面,KANs 可以直观地可视化,并且可以轻松地与人类用户交互。通过数学和物理学中的两个示例,证明了 KANs 是有用的“合作伙伴”,帮助科学家(重新)发现数学和物理定律。总之,KANs 是 MLPs 的有前途的替代方案,为进一步改进当今严重依赖 MLPs 的深度学习模型提供了机会。
图0.1:多层感知器(MLP)与Kolmogorov-Arnold网络(KAN)
1 引言
多层感知器(MLPs)[1, 2, 3],也称为全连接前馈神经网络,是当今深度学习模型的基础构建块。MLPs的重要性无论如何强调都不为过,因为它们是机器学习中默认的近似非线性函数的模