1.区别: MLP将固定的激活函数放在节点(“神经元”)上,而KAN将可学习的激活函数放在边缘(“权重”)上。KANs没有线性权重矩阵,而是将每个权重参数替换为一个可学习的单变量函数,该函数以样条曲线的形式参数化。 2.MLP的缺点: 在transformer中,MLP的参数量大,且不具备可解释性。 3.KAN=MLP+样条 为了提升表征能力,MIT提出了KAN。KAN本质上是样条(Spline)曲线和 MLP 的组合,吸收了两者的优点。即 KAN = MLP + Spline 4.KAN的缺点: 学习的激活函数的成本比固定激活函数成本更高,表现为:虽然参数很少,但是收敛的很慢 。