KAN+Transformer,一个快速发论文的新创新点!

KAN爆火至今,关于它和Transformer谁更强的问题还没定论,这俩结合的工作效果却愈发出众了,短时间内就有了不少高质量论文发表。

不得不说,这是一种富有创新性的尝试,利用了KAN的灵活性和可解释性,以及Transformer的强表示能力和序列处理能力,创造了一个在复杂数据任务中更加高效、灵活且易于理解的模型。这种结合模型可以应用于时间序列预测等多个领域,显著提高性能以及准确性,是未来非常有潜力的研究方向。

更赞的一点是,KAN是新技术,还没那么卷,所以KAN+Transformer创新空间大,还有很多优秀成果给我们作参考,可以说是一个很好发论文的方向了。

为了帮同学们抓紧机会,我已经挑选好了8篇KAN结合Transformer的优秀paper分享,代码基本都有,想速发高质量论文的别错过啦。

论文原文+开源代码需要的同学看文末

HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter

方法:论文提到了 KAN-Transformer Block 的使用,这是用于替代原始 SSFTT(可能是指某个特定的 Transformer 模型)架构设计中的两个全连接线性层。具体来说,通过使用 KAN-GPT 实现(一种为 Transformer 架构设计的 KAN 实现),保持了与原始 SSFTT 实现相同的输入和输出维度,同时

### TransformerKAN结合的实现方式 在计算机视觉领域,尤其是人脸识别方面,Transformer架构因其强大的特征提取能力而备受关注。当引入Knowledge-Aware Network (KAN),可以进一步增强模型对于特定知识的理解和利用。 #### Knowledge-Aware Network概述 Knowledge-Aware Network旨在通过融合外部知识库来提升神经网络的表现力[^1]。这种机制允许模型不仅依赖于输入数据本身,还能从预先定义的知识源获取额外的信息支持决策过程。这有助于提高复杂场景下的识别精度和服务质量。 #### 结合方案设计 为了使Transformer能够有效地集成KAN特性,在实际应用中通常会采取如下策略: - **多模态输入处理**:构建一个多分支结构,其中一个分支专门用于接收来自外接知识图谱的数据流;另一个则继续沿用标准图像序列作为主要信息来源。 - **自注意力模块调整**:修改原有的Self-Attention层逻辑,使其能够在计算过程中充分考虑到由KAN传递过来的关键实体关系权重矩阵的影响因子。 - **交叉注意机制(Cross Attention)**:增Cross Attention组件负责协调两个不同性质向量空间之间的交互作用,从而确保两者间存在有效的信息交换渠道。 ```python import torch.nn as nn class CrossAttention(nn.Module): def __init__(self, dim_model): super().__init__() self.query_transform = nn.Linear(dim_model, dim_model) self.key_transform = nn.Linear(dim_model, dim_model) def forward(self, query, key_value_pair): q = self.query_transform(query) k, v = zip(*[(kv[0], kv[1]) for kv in key_value_pair]) scores = torch.matmul(q.unsqueeze(1), torch.stack(k).transpose(-2,-1)) / math.sqrt(q.size(-1)) attn_weights = F.softmax(scores, dim=-1) output = torch.bmm(attn_weights, torch.stack(v)).squeeze(1) return output ``` 上述代码片段展示了如何创建一个简单的跨域注意力单元,它接受查询项以及一系列键值对列表作为参数,并返回经过加权求和后的输出表示形式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值