下一个AI前沿与革命：KAN 下

庞德公

已于 2024-05-06 21:15:40 修改

阅读量1.2k

点赞数 17

分类专栏：新技术解读文章标签：人工智能

于 2024-05-06 20:56:02 首次发布

本文链接：https://blog.csdn.net/Janexjy/article/details/138507993

版权

新技术解读专栏收录该内容

21 篇文章 6 订阅

订阅专栏

大模型技术论文每个月新增上千，本专栏精选重点解读的论文围绕着行业实践和工程量产。若在阅读过程中有些知识点存在盲区，可以回到如何优雅的谈论大模型重新阅读。另外斯坦福2024人工智能报告解读为通识性读物。若对于如果构建生成级别的AI架构则可以关注AI架构设计。技术宅麻烦死磕LLM背后的基础模型。当然最重要的是订阅跟随“鲁班模锤”。

上篇文章初步的介绍了KAN，记得在《重新审视神经网络》这篇文章中提及，任何人都可以构建自己心目中的神经网络。当小编还在准备Mamba，说时迟，那时快。在不断发展的AI领域，五一期间来自麻省理工学院的创新框架柯尔莫哥洛夫-阿诺德网络（KAN）正在准备以独特的模式改变传统多层感知机模型。

KAN的可解释性

KAN的结构有助于更清楚地理解输入如何通过函数转换。每个样条函数对数据的影响比深度MLP（神经网络）中不透明的转换更容易观察和理解。

观察上图，任务A假定从f(x, y)=xy这个函数抽样了一些数值进行训练。可以通过可视化发现[2, 5, 1]的KAN被剪枝成[2, 2, 1]的KAN。通过可视化界面可以观测在网络中KAN将xy拆解成 $(x+y)^2-(x^{2}+y^{2})$ 。这里麻烦请大家仔细看图A，以便理解“函数即参数”的KAN。

第一层：x和y在有两个变换，分别实现了x+y和x2 + y2。

第二层：针对(x+y)的输出使用了f(a)=a2的激活函数，(x2 + y2)的输出使用了f(a)=-a的激活函数。

第三层：将第二层的输出累加

任务B是将f(x, y)=x/y。而KAN则给出了这样的解答exp(logx − logy)。任务C是将[0, 1]中的实数转换为其小数点后第一个十进制数字，例如 0.0519→[1, 0, 0, 0, 0, ··· ], 0.212→[0, 0, 1, 0, 0,····]。通过可视化的界面会发现激活函数聪明的学到了相应十进制数字周围的尖峰。

任务D，E，F也是人别求解一些复杂函数的近视模拟，从可视化界面可以看到效果十分显著。

KAN无监督学习的实验

通过使用样条曲线，KAN 以更精细地调整其对输入数据的转换，在复杂模式的数据场景下，相对于刚性结构的MLP有着更加细腻的刻画。

MLP中的每个权重都被 KAN 中的样条函数取代，样条函数可以在学习的过程中不断地调整形状（激活函数形态）。与 MLP 相比，这种特性通常会使得KAN以少量的参数获取更高的精度。

假定需要找寻一个函数f(x1, x2, · · · , xd) ≈ 0。KAN在不同的种子下面将输入自动的分组，基本上能够达到无监督的学习。怎么解释呢，假定一组特征(x1, x2, x3)数据隐藏着条件x3=exp(sin(πx1) +x2*x2)。也就是其中有个f肯定是f(x1, x2, x3) = sin(πx1) + x2*x2 − log(x3) = 0，那么通过KAN的学习，其实能够自动识别出个中的关系，达到降维的目的。

KAN的监督学习实验

之前有实验利用监督学习和人类领域专家得出了新的代数和几何的结不变量(knot invariants)的新定理。在整个场景下，这种情况下，显著性的梯度明确了这个监督学习的关键不变量，最终导致领域专家做出猜想，随后被得到完善和证明。KAN是否可以在同一问题上取得良好的可解释结果，预测节的形状（signature)。

之前的实验第一步用神经网络的方法确定了形状(signature)σ主要是依赖于经线距离相关变量μ (真实μr, 想象μi)和纬线距离变量λ。第二步人类专家按照提示稍后也发现σ 和slope有着高度的相关性（下图左侧的公式）。