博客摘录「 数学遇上人工智能，深度学习架构迎来最强挑战者 KAN，MLP 的时代结束了？」2024年5月7日

发布信息：
- **作者**：王启隆
- **出品**：《新程序员》编辑部
- **首次发布时间**：2024-05-03 18:15:56
- **最后修改时间**：2024-05-06 08:49:33
- **阅读量**：2.5k
- **收藏数**：29
- **点赞数**：19
- **版权声明**：遵循 CC 4.0 BY-SA 版权协议

#### 文章内容概述：
1. **多层感知器（MLP）的重要性**：
   - MLP作为深度学习的基础模型，对非线性问题的解决具有重要意义。
   - MLP在理论和实践上都证明了其强大的功能，尤其是在早期机器学习应用中。

2. **MLP的局限性**：
   - MLP在处理复杂任务时存在可解释性、交互性不足，计算复杂，有过拟合问题，缺乏灵活性和适应性。

3. **Kolmogorov-Arnold Networks (KAN) 的出现**：
   - KAN是MLP的潜在替代品，提出了新的架构思路。
   - KAN受到Kolmogorov-Arnold表示定理的启发，展现了在准确性、效率、可解释性、适应性和灵活性上的优势。

4. **KAN的核心创新**：
   - 将可学习的激活函数置于边（权重）上，而非节点（MLP的传统做法）。
   - 使用样条基函数提高模型表达能力，支持适应性设计和训练。

5. **Kolmogorov-Arnold 表示定理**：
   - 由Kolmogorov和Arnold独立提出，表明多元连续函数可以表示为单变量连续函数的两层嵌套叠加。

6. **KAN的应用前景**：
   - KAN在科学相关任务中展现出潜力，可能有助于科研与自然规律的发现。

7. **KAN的挑战**：
   - 训练速度较慢，但在追求模型可解释性和预测准确性时，KAN可能是优于MLP的选择。

8. **KAN的研究成果**：
   - 刘子鸣与Max Tegmark及其他合作者共同完成KAN的研究成果。

9. **KAN的设计和实现**：
   - KAN通过权重上的可学习激活函数和B样条曲线参数化，实现对复杂函数的逼近。

10. **KAN的未来**：
    - 尽管目前KAN的训练速度较慢，但其在AI与科学结合领域的潜力巨大，值得进一步研究和开发。

#### 论文和代码链接：
- **论文链接**：[HTML版本](https://arxiv.org/html/2404.19756v1) [PDF版本](https://arxiv.org/pdf/2404.19756v1)
- **GitHub链接**：[KAN实现](https://github.com/KindXiaoming/pykan)

#### 作者信息：
- **刘子鸣**：具有物理与机器学习背景的研究者，目前于麻省理工学院攻读博士学位，专注于AI与物理学的交融。

#### 其他信息：
- 文章还讨论了KAN在数学和物理学上的应用实例，以及如何通过网格扩展提升KAN的精度。

### 笔记总结：
文章详细介绍了深度学习架构中MLP的局限性和KAN作为其替代品的优势。KAN的设计灵感来源于Kolmogorov-Arnold表示定理，其核心创新在于权重上的可学习激活函数，这使得KAN在处理复杂科学和数学问题时展现出更高的准确性和效率。尽管KAN的训练速度较慢，但其在模型可解释性和预测准确性上的优势使其成为一个有前景的研究方向。论文和代码的链接提供了进一步研究KAN的资源。