KAN网络技术最全解析——最热KAN能否干掉MLP和Transformer？（收录于GPT-4/ChatGPT技术与产业分析）

KAN网络结构思路来自Kolmogorov-Arnold表示定理。MLP 在节点（“神经元”）上具有固定的激活函数，而 KAN 在边（“权重”）上具有可学习的激活函数。在数据拟合和 PDE 求解中，较小的 KAN 可以比较大的 MLP 获得更好的准确性。

相对MLP，KAN也具备更好的可解释性，适合作为数学和物理研究中的辅助模型，帮助发现和寻找更基础的数值规律。（点赞是我们分享的动力）

MLP与KAN对比

与传统的MLP 相比，KAN 有4个主要特点：

1）激活函数位于“边”而不是节点（Node）上；

2）激活函数是可学习的而不是固定的；

3）可以使用非线性核函数来替代MLP“边”（Edge）上的线性函数；

4）可以设定细粒度的结点（Knot）来提高逼近精度。

就我们来看，由于可以设置单独的激活层来替代“边”上激活的结构（相当于每个“边”上插入一个节点），因此特点1并非KAN的核心特征。特点4在实际使用时需要做大量的查表插值，对存储带宽的要求非常高，可能并不一定适合常规的AI芯片