活动报名｜一夜爆火的KAN比MLP更好？KAN与MLP性能比较

报告主题：公平对比KAN与MLP，KAN适合符号函数拟合，深度学习任务中MLP仍为通用首选

报告日期：8月27日（周二）10:30-11:30

报告要点：

我们对 Kolmogorov-Arnold Networks（KAN）与 Multilayer Perceptron（MLP）在机器学习、计算机视觉、音频处理、自然语言处理和符号函数拟合任务上的性能进行了更公平和更全面的对比研究。实验过程，通过控制神经网络的参数数量或者浮点运算数（FLOPs）保证参与对比的网络的计算复杂度相当。我们发现，除符号函数拟合任务外，MLP 的表现普遍优于 KAN。我们还对 KAN 的网络结构进行了消融研究，发现其在符号函数拟合任务中的优势主要来源于其使用的Bspline激活函数。将Bspline 激活函数应用在MLP 中，MLP 网络在符号函数拟合任务中的性能也能得到显著提升，达到匹配甚至优于KAN 的水平。我们也发现，在类别增量学习任务中，KAN 的遗忘问题甚至比MLP 更加严重。我们希望这些观察能为未来关于 KAN 和新一代神经网络架构的研究提供一些启示。

报告嘉宾：

于润芃，新加坡国立大学数据科学博士生。他主要的研究兴趣为视觉语言模型和神经网络重用。他曾在NeurIPS和CVPR等国际会议上发表过研究论文。

扫码报名

---

近期热门报告