GNN-Transformer新突破！全局与局部的完美融合

最新推荐文章于 2025-03-27 11:13:46 发布
最新推荐文章于 2025-03-27 11:13:46 发布
阅读量1.6k 收藏 21
点赞数 15
分类专栏： # KG图神经网络GNN、GCN、GCT # 前沿AI大模型论文翻译与解读 LLM大语言模型 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/137070049
版权

GNN-Transformer新突破！全局与局部的完美融合

原创 学姐 AI算法科研paper 2024-03-11 18:29

图神经网络（GNN）和Transformer的结合是近年来的研究热点。这类结合不仅能够让两者发挥各自的优势，还能推动模型的创新，提高处理图数据的效率和性能。

具体点讲，通过利用Transformer，我们可以扩展GNN的感受野，包括那些距离中心节点较远的相关节点。相对的，GNN也可以帮助Transformer捕捉复杂的图拓扑信息，并从相邻区域高效地聚合相关节点。

目前，基于Transformer的GNN和图Transformer是GNN+Transformer的两大关键结合方式，这其中有不少个人认为很值得学习的成果。比如GNN 嵌套 Transformer

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Graph vs Transformer】Transformer是GNN的一种特例
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-15 293
最近研读Transformer后，发现和GNN极其相似，于是开始调研他们之间的关系(对Transformer熟悉的可以直接跳过这一部分阅读)(对GNN熟悉的可以直接跳过这一部分阅读)
GNN与Transformer创新结合！模型性能起飞！
2401_85328934的博客
06-05 2094
近年来，图神经网络（GNN）和Transformer模型分别凭借其独到的优势，在处理复杂数据结构和识别序列间的相互依赖性方面取得了突破性进展，这些优势使得GNN和Transformer的结合成为图表示学习领域的一个有前景的研究方向。具体来说，Transformer的引入使GNN能够扩展感受野，捕捉复杂图拓扑信息，增强信息传递能力，提高推荐系统准确性。最重要的是还能简化模型，降低计算成本和提高训练效率。
双热点新突破：GNN-Transformer超越传统起飞！
最新发布
m0_59235699的博客
03-27 1017
GNN-Transformer融合模型的核心在于利用Transformer的自注意力机制增强GNN的全局信息聚合能力，同时通过GNN的图结构归纳偏置提升Transformer在处理非欧几里得数据时的效率。例如，Graph Transformer通过将节点特征和边特征嵌入到Transformer的输入序列中，实现了对图结构数据的端到端学习；而Graph-BERT则通过引入图感知的位置编码和节点上下文采样策略，进一步优化了Transformer在图数据上的表现。
干货！用于文本图表示学习的GNN嵌套Transformer模型：GraphFormers
AITIME_HY的博客
05-07 2744
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本期AI TIME PhD直播间，我们邀请到微软亚洲研究院与中国科学技术大学联合培养在读博士生——杨俊涵，为我们带来报告分享《用于文本图表示学习的GNN嵌套Transformer模型：GraphFormers》。杨俊涵：微软亚洲研究院与中国科学技术大学联合培养在读博士生，主要研究方向为推荐系统、信息检索、文本表示学...
结合Transformer与GNN！图Transformer15个创新方案，无痛涨点
强化学习曾小健
04-23 1638
作者提出了一种新的神经网络编码器类别，称为DIFFORMER（基于扩散的Transformer），包括两个实例：一个具有线性复杂度的简单版本，适用于数量庞大的实例；作者提出了一种新的方法，称为谱注意力网络（SAN），它使用了一种学习位置编码（LPE），可以从拉普拉斯算子的全谱中学习节点的位置。为了解决分子表示学习中的问题，作者提出了一种名为GROVER的新框架。论文提出了一种名为Graphormer的图表示学习方法，它建立在标准的Transformer架构之上，并在广泛的图表示学习任务上取得了出色的结果。
GNN+Transformer=全局与局部完美融合！
2401_88556812的博客
02-14 602
这种结合不仅能够让两者发挥各自的优势，还能推动模型的创新，提高处理图数据的效率和性能。Geometric Transformer（Geoformer）：通过结合IPE，Geoformer在QM9数据集上的多个属性预测中超越了现有的最先进算法（SoTA），在Molecule3D数据集上无论是随机分割还是骨架分割，都实现了最低的平均绝对误差（MAE）。理论支持：通过理论分析，验证了XR-Transformers的关键组件在邻域预测任务中的优势，进一步加深了对XR-Transformers和XMC问题的理解。
GNN vs Transformer
tiancanucas的博客
05-12 1287
一个是图的表示学习一个是语言的表示学习 先给两个图：图的邻接矩阵和self-attention可视化结果。 我们可以把multi-head attention不同的head理解为CNN中不同的卷积核，用来抽取不同的特征，文本中的每一个词对应于图中的一个节点，文本的上下文对应图节点的邻接节点，而self-attention就类似于一个全连接图，GNN学习的是node emmeding，而Transformer学习的是word emmeding。在公司图谱中，小明是经理，在家族图谱中，小明可能是丈夫，是父亲
GNN与Transformer的融合！实现全局与局部的完美协同
AIzhijie001的博客
11-15 865
关于GNN（图神经网络）和Transformer的结合，这是一个近年来的研究热点，它们结合的主要优势在于能够发挥各自的长处，提高处理图数据的效率和性能。具体来说，Transformer可以帮助GNN扩展其感受野，包括那些距离中心节点较远的相关节点，而GNN则可以帮助Transformer捕捉复杂的图拓扑信息，并从相邻区域高效地聚合相关节点。提出了结合GNN和Transformer的特征融合模块，以及新颖的特征选择方法，增强了神经架构表示，提升了预测性能。
大一统2.0！CNN, RNN, GNN和Transformer模型的统一表示和泛化误差理论分析
Paper weekly
11-29 822
论文标题：RPN 2: On Interdependence Function Learning Towards Unifying and Advancing CNN, RNN, GNN, and Transformer论文链接：https://arxiv.org/abs/2411.11162官方网站：https://www.tinybig.org/代码链接：https://github.com/...
GNN - Transformer 新突破 —— 解锁全局与局部的完美融合！
python12345_的博客
11-10 1024
近年来，模型大放异彩。**GNN 以其独特优势在处理复杂数据结构方面表现卓越，而 Transformer 模型则在识别序列间相互依赖性上展现出非凡能力，**二者均取得了突破性的进展。这些优势相互交织，使得的融合成为图表示学习领域极具前景的研究方向。具体而言，带来了诸多益处。它能够有效扩展 GNN 的感受野，使其更全面地捕捉复杂图拓扑信息。这一改进如同为 GNN 装上了更敏锐的 “触角”，增强了信息在图中的传递能力。在推荐系统中，这种结合更是发挥了重要作用，显著提高了推荐的准确性。不仅如此，本文精心筛选了。
理解深度学习，包括最新的transformer和GNN
08-07
理解深度学习，包括最新的transformer和GNN
论文 | TransGNN：Transformer和GNN可以互相帮助吗？
人工智能讲师分享前沿技术
12-20 1903
具体来说，我们在GNN层的消息传递过程中，对每个中心节点的邻居节点的注意力样本进行聚合。注意力采样：给定输入图 G 及其相似度矩阵 S，对于图中的节点 𝑣𝑖，我们将其注意力样本定义为集合 Smp(𝑣𝑖) = {𝑣𝑗 |𝑣𝑗 ∈ 𝑉 和 𝑆(𝑖, 𝑗) ∈ top-k (𝑆(𝑖, :))} 其中𝑆(𝑖, :) 表示 S 的第 𝑖 行，𝑘 作为超参数，决定应该关注多少个节点。在图数据中，不需要计算每个节点对整个图的关注，只要考虑最相关的节点就足够了，这不仅降低了复杂性，而且还过滤掉了噪声节点的信息。
关于GNN与transfomer的关系
weixin_45846560的博客
11-22 326
从 Transformer 来看，我们需要分别计算 Q(Query), K(Key), V, 然后使用 Q 和 K 来计算自注意力矩阵A，A矩阵代表了 token (节点或词)之间的相关性，使用计算 AV 来完成不同 token 之间的加权融合。图和Transoformer的联系：kq的计算结果，可以看做是一个（n，n）的图邻接矩阵，联想到图网络的消息传递，不难发现，kq矩阵与v的相乘，就是消息传递。而与图网络不一样的是，图网络的邻接矩阵是先验提供的，而transformer将靠模型自己去探索。
GNN与Transformer融合促进药物发现 | 2022几何&图机器学习展望
BAAIBeijing的博客
02-09 2187
导读：几何机器学习和基于图的机器学习是当前最热门的研究课题之一。在过去的一年中，该领域的研究发展迅猛。在本文中，几何深度学习先驱 Michael Bronstein 和 Petar Vel...
【GNN报告】微软亚洲研究院郑书新：图神经网络迈入Transformer时代
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
07-11 772
作为一种弱归纳偏置模型，Transformer模型在图数据处理领域上的成功应用和未来发展趋势。
CNN-Transformer的结合模型
qq_62412943的博客
05-14 4073
卷积神经网络（CNN）是一种特殊的深度学习模型，它在图像处理领域取得了巨大的成功，并且在其他领域如自然语言处理、推荐系统和语音识别中也得到了广泛的应用。CNN的设计受到了人类视觉系统的启发，特别关注于如何从图像中自动学习和提取有用的特征。：激活函数在神经网络中起到至关重要的作用，它们增加了模型的非线性，从而使模型能够学习和逼近复杂的函数。：池化层通常用于降低特征映射的维度，减少计算需求，并增加模型的鲁棒性。：在全连接层中，模型会将前面层学习到的空间特征转换为用于分类或回归任务的输出。
神组合：GNN+Transformer！新成果霸榜CVPR
Aimoxin111的博客
02-12 1312
AI科研灵感致力于成为您在人工智能领域的领航者，定期更新人工智能领域的重大新闻与最新动态，和您一起探索AI的无限可能。立即关注我们，开启您的AI学习之旅！
gnn transformer融合
02-27
### GNN与Transformer融合方法 #### 图神经网络（GNN）的特点 图神经网络（GNN）擅长处理具有复杂关系的数据结构，能够捕捉节点之间的依赖性和交互模式。这种特性使得GNN在社交网络分析、推荐系统等领域表现出色[^1]。 #### Transformer的优势 相比之下，Transformer架构以其强大的序列建模能力和自注意力机制而闻名，能够在自然语言处理任务中取得优异成绩。其并行化训练过程也提高了计算效率[^4]。 #### 融合策略概述 为了充分利用两者优势，一种常见的做法是在原有GNN基础上引入多头自注意层或多层感知机(MLP)，从而构建混合型框架。具体而言： - **消息传递阶段**：利用传统GNN的消息传递机制更新节点特征； - **自我关注模块**：在此之后加入来自Transformer的self-attention组件，允许模型考虑整个图形范围内的远距离关联； - **最终聚合操作**：最后通过池化或其他形式的信息汇总得到全局表征向量用于预测或分类目的。 ```python import torch from torch_geometric.nn import GCNConv, global_mean_pool as gap class GNNTF(torch.nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(GNNTF, self).__init__() # 定义GCN卷积层 self.conv1 = GCNConv(input_dim, hidden_dim) # 添加transformer编码器部分 encoder_layer = nn.TransformerEncoderLayer(d_model=hidden_dim, nhead=8) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6) # 输出全连接层 self.fc_out = nn.Linear(hidden_dim, output_dim) def forward(self, data): x, edge_index, batch = data.x, data.edge_index, data.batch # 应用gcn convolutions 和激活函数relu x = F.relu(self.conv1(x, edge_index)) # 使用transformers进一步提炼信息 x = self.transformer_encoder(x.unsqueeze(0)).squeeze(0) # 对batch中的样本取平均值得到固定长度表示 x = gap(x,batch) # 返回经过fc layer后的logits return self.fc_out(x) ``` 上述代码展示了如何在一个简单的PyTorch Geometric项目里实现这一想法。这里先进行了标准的图卷积运算，接着把结果送入由若干个相同配置组成的变压器单元堆叠而成的encoder内做深层次挖掘；最后一轮降维映射至目标类别空间完成监督学习流程[^2]。 #### 实际应用场景举例 实际案例表明，在学生协作表现预测场景下提出的CLGT模型就是这样一个成功的尝试实例之一。该研究团队设计了一个专门针对教育领域合作学习环境下的图表征工具——Graph Transformer (CLGT)[^2]。它不仅继承了经典GNN对于局部邻域敏感性的优良品质，还借助于先进的Transformers技术实现了跨越不同小组成员间广泛联系的有效刻画，进而为个性化指导提供了坚实依据。 此外，在其他类型的图数据集测试中同样观察到了类似的趋势。比如，在ogbn-arxiv这样的大规模学术出版物引用网路上部署改进版InstructGLM后发现，无论对比传统的纯GNN还是单独使用的Transfomer变体版本，新组合方案均能带来不同程度上的性能增益效果[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值