KAN: Kolmogorov–Arnold Networks

摘要

受柯尔莫戈罗夫-阿诺德表示定理的启发，我们提出了柯尔莫戈罗夫-阿诺德网络（KANs），作为多层感知器（MLPs）的有前途的替代方案。与 MLPs 的节点（“神经元”）上具有固定的激活函数不同，KANs 的边（“权重”）上具有可学习的激活函数。KANs 完全没有线性权重——每个权重参数都被一个参数化为样条的单变量函数所取代。我们展示了这个看似简单的改变使得 KANs 在准确性和可解释性方面优于 MLPs。在准确性方面，规模更小的 KANs 可以在数据拟合和偏微分方程求解中实现与更大规模的 MLPs 相当或更好的准确性。从理论和经验上看，KANs 具有比 MLPs 更快的神经缩放规律。在可解释性方面，KANs 可以直观地可视化，并且可以轻松地与人类用户交互。通过数学和物理学中的两个示例，证明了 KANs 是有用的“合作伙伴”，帮助科学家（重新）发现数学和物理定律。总之，KANs 是 MLPs 的有前途的替代方案，为进一步改进当今严重依赖 MLPs 的深度学习模型提供了机会。

图0.1：多层感知器（MLP）与Kolmogorov-Arnold网络（KAN）

1 引言

多层感知器（MLPs）[1, 2, 3]，也称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLPs的重要性无论如何强调都不为过，因为它们是机器学习中默认的近似非线性函数的模型&#x