好发论文新方向：KAN+Transformer！准确率达99.86％！

最新推荐文章于 2024-10-29 18:47:49 发布

江湖人称麻花滕

最新推荐文章于 2024-10-29 18:47:49 发布

阅读量1.6k

点赞数 28

文章标签： transformer 深度学习人工智能知识图谱数据库百度 llama

本文链接：https://blog.csdn.net/m0_59235699/article/details/141367572

版权

今天给大家推荐一个好发论文的新方向：KAN+Transformer！

一方面，这两者结合，在提高模型的准确性、可解释性方面效果显著，对这两方面要求高的方向，都可以用该方法重做一遍！像是时序预测、图像分类、目标检测等。代表模型SCKansformer，在高维显微图像分类中，便实现了99.86％的准确率。主要在于，KAN的灵活性和可解释性，可以弥补Transformer不足；而Transformer的自注意力，也可以帮助KAN更好地处理长距离依赖关系。

另一方面，KAN是当下的新技术，目前还不算卷，出创新点的机会多。

1.SCKansformer: Fine-Grained Classification of Bone Marrow Cells via Kansformer Backbone and Hierarchical Attention Mechanisms

方法：

论文提出了一种新的用于骨髓细胞细粒度分类的模型，称为SCKansformer。该模型通过结合Kansformer Encoder、SCConv Encoder和GLAE，有效地提高了骨髓细胞分类的准确性和效率，并通过消融实验验证了模型各个组件的重要性。

创新点：

Kansformer Encoder：该组件用KAN替代了传统的MLP。KAN通过在网络的边上使用可学习的激活函数，增强了模型处理高维图像数据时的非线性特征表达能力和解释性。
SCConv Encoder：该组件包含SRU和CRU，用于减少CNN提取的特征中的冗余信息。SRU通过分离-重构策略减少空间冗余，而CRU通过分割-转换-融合策略减少通道冗余。
GLAE：该组件结合了MSA模块和Local Part模块，以捕获显微图像的全局和局部特征。MSA模块通过自注意力机制学习输入向量之间的交互，而局部部分模块使用深度可分离卷积来提取邻近像素之间的局部特征。

2.A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting

方法：

论文提出了一种新型的时间序列预测模型，名为TKAT。TKAT模型通过结合TKAN的理论基础和Transformer架构的优势，旨在提高时间序列预测的准确性和可解释性。

创新点：

模型架构：TKAT是一种基于注意力机制的编码器-解码器模型，它利用了TKANs作为其核心组件。
时间依赖性：TKAN层通过引入时间依赖性来增强模型对时间序列数据的处理能力。每一层的转换函数都是时间依赖的，能够捕捉节点的历史信息。
记忆管理：TKAN层通过门控机制来管理信息流，类似于LSTM中的遗忘门和输入门，决定哪些信息应该被保留或遗忘。

3.HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter

方法：

论文提出了一种基于Kolmogorov-Arnold网络的超光谱图像分类方法。研究者们首先比较了传统的多层感知器和不同神经元数量的KAN网络。随后，他们建议将传统神经网络中的线性层、卷积层和注意力机制层替换为基于KAN的对应层。

创新点：

比较MLP和KAN：首先，作者比较了具有不同隐藏层神经元数量的基线MLP和KAN网络的性能。
设计KAN基网络：提出了KAN网络，它与传统的MLP不同，在KAN中，权重参数被一维函数参数化，而不是线性权重，这允许KAN实现更高的准确性和可解释性。
修改六种神经网络架构：作者选择了六种用于HSI分类的神经网络架构，并将它们的分类层替换为Linear-KAN块，同时在注意力机制中使用Linear-KAN块，卷积层使用Conv-KAN块。

4.COEFF-KANs: A Paradigm to Address the Electrolyte Field with KANs

方法：

论文提出了一种名为COEFF的新方法，用于自动预测液体电解质的库仑效率，目的是减少化学研究人员的实验验证工作量，并加速高能量密度锂金属电池的设计和优化。

创新点：

特征提取：将电解质中的每种溶剂和盐独立输入MoLFormer，提取每个组分的化学特征。然后，根据电解质组分的摩尔比率对这些特征向量进行加权平均，以获得整个电解质的特征表示。
MLP或KAN：将获得的电解质特征输入到MLP或KAN中，以预测CE。
数据和代码公开：论文承诺在论文发表后，将公开使用的数据和代码，以便其他研究人员使用和进一步探索。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述