KAN爆火至今,关于它和Transformer谁更强的问题还没定论,这俩结合的工作效果却愈发出众了,短时间内就有了不少高质量论文发表。
不得不说,这是一种富有创新性的尝试,利用了KAN的灵活性和可解释性,以及Transformer的强表示能力和序列处理能力,创造了一个在复杂数据任务中更加高效、灵活且易于理解的模型。这种结合模型可以应用于时间序列预测等多个领域,显著提高性能以及准确性,是未来非常有潜力的研究方向。
更赞的一点是,KAN是新技术,还没那么卷,所以KAN+Transformer创新空间大,还有很多优秀成果给我们作参考,可以说是一个很好发论文的方向了。
为了帮同学们抓紧机会,我已经挑选好了8篇KAN结合Transformer的优秀paper分享,代码基本都有,想速发高质量论文的别错过啦。
论文原文+开源代码需要的同学看文末
HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter
方法:论文提到了 KAN-Transformer Block 的使用,这是用于替代原始 SSFTT(可能是指某个特定的 Transformer 模型)架构设计中的两个全连接线性层。具体来说,通过使用 KAN-GPT 实现(一种为 Transformer 架构设计的 KAN 实现),保持了与原始 SSFTT 实现相同的输入和输出维度,同时