神组合：GNN+Transformer！新成果霸榜CVPR

最新推荐文章于 2025-03-27 11:13:46 发布
最新推荐文章于 2025-03-27 11:13:46 发布
阅读量1.3k 收藏 16
点赞数 36
文章标签： transformer 深度学习 人工智能 学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aimoxin111/article/details/145597840
版权

AI科研灵感致力于成为您在人工智能领域的领航者，定期更新人工智能领域的重大新闻与最新动态，和您一起探索AI的无限可能。立即关注我们，开启您的AI学习之旅！

2025深度学习发论文&模型涨点之——GNN+Transformer

GNN（图神经网络）和Transformer的结合是近年来图表示学习领域的一个新兴且充满潜力的研究方向。

                • 模型创新：不断有新的模型架构被提出，如Exphormer框架，采用虚拟全局节点和扩展图等机制，构建强大且可扩展的图变换器。

                • 性能提升：在多个数据集上的实验结果表明，GNN+Transformer的模型在性能上相较于单一模型有显著提升。例如，TransGNN在推荐准确性方面取得了显著的提升；FS-GNNCvTR模型在少样本毒性和副作用预测任务中，展现出更优越的性能。

                • 效率优化：为了提高模型的效率，研究者们提出了一些优化策略。例如，TransGNN引入了采样策略以及两种更新相关样本的高效方法，以减少复杂性。

                小编整理了一些GNN+Transformer【论文】合集，以下放出部分，全部论文PDF版皆可领取。

                需要的同学

                回复“111”即可全部领取

                论文精选

                最低0.47元/天 解锁文章
                Ai墨芯111
                关注
                CVPR 2024 | 用于事件相机目标检测的场景自适应稀疏Transformer
                小白学视觉
                03-04 149
                尽管最近基于Transformer的方法在事件相机目标检测任务中表现出色，但其高计算成本仍然削弱了事件相机的低功耗优势。基于图像的工作尝试通过引入稀疏Transformer来降低这些成本。然而，当应用于事件相机目标检测时，这些方法表现出不足的稀疏性和适应性，因为它们无法平衡token级稀疏化和基于窗口的Transformer的效率，导致性能和效率下降。此外，它们缺乏场景特定的稀疏优化，导致信息丢失和召回率降低。为了克服这些限制，作者提出了场景自适应稀疏Transformer（SAST）。
                【深度补全最新综述】Deep Depth Completion from Extremely Sparse Data: A Survey
                梁瑛平的博客
                08-28 1291
                深度补全旨在从深度传感器（例如 LiDAR）捕获的极度稀疏的深度图中预测密集的逐像素深度。这在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中起着至关重要的作用。近年来，基于深度学习的解决方案在该任务中取得了显著成功，并主导了这一领域的发展趋势。本文首次提供了全面的文献综述，帮助读者更好地把握研究趋势，并清晰地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计角度对相关研究进行了调查，并提出了一种新颖的分类方法来对现有方法进行分类。
                GNN+Transformer=全局与局部完美融合！
                2401_88556812的博客
                02-14 610
                这种结合不仅能够让两者发挥各自的优势，还能推动模型的创新，提高处理图数据的效率和性能。Geometric Transformer（Geoformer）：通过结合IPE，Geoformer在QM9数据集上的多个属性预测中超越了现有的最先进算法（SoTA），在Molecule3D数据集上无论是随机分割还是骨架分割，都实现了最低的平均绝对误差（MAE）。理论支持：通过理论分析，验证了XR-Transformers的关键组件在邻域预测任务中的优势，进一步加深了对XR-Transformers和XMC问题的理解。
                GNN与Transformer的融合！实现全局与局部的完美协同
                AIzhijie001的博客
                11-15 873
                关于GNN（图神经网络）和Transformer的结合，这是一个近年来的研究热点，它们结合的主要优势在于能够发挥各自的长处，提高处理图数据的效率和性能。具体来说，Transformer可以帮助GNN扩展其感受野，包括那些距离中心节点较远的相关节点，而GNN则可以帮助Transformer捕捉复杂的图拓扑信息，并从相邻区域高效地聚合相关节点。提出了结合GNN和Transformer的特征融合模块，以及新颖的特征选择方法，增强了神经架构表示，提升了预测性能。
                双热点新突破：GNN-Transformer超越传统起飞！
                最新发布
                m0_59235699的博客
                03-27 1033
                GNN-Transformer融合模型的核心在于利用Transformer的自注意力机制增强GNN的全局信息聚合能力，同时通过GNN的图结构归纳偏置提升Transformer在处理非欧几里得数据时的效率。例如，Graph Transformer通过将节点特征和边特征嵌入到Transformer的输入序列中，实现了对图结构数据的端到端学习；而Graph-BERT则通过引入图感知的位置编码和节点上下文采样策略，进一步优化了Transformer在图数据上的表现。
                GNN与Transformer创新结合！模型性能起飞！
                10-08 1745
                近年来，图神经网络（GNN）和Transformer模型因其在处理复杂数据结构和序列依赖性方面的卓越表现而受到广泛关注。这种优势使得将GNN与Transformer结合成为图表示学习领域的一个新兴且充满潜力的研究方向。通过结合这两种模型，我们不仅能够扩大模型的感受野，捕捉更复杂的图结构信息，还能强化信息传递机制，从而提高推荐系统的准确性。此外，这种结合还能简化模型结构，降低计算成本，并提升训练效率。
                GNN vs Transformer
                tiancanucas的博客
                05-12 1295
                一个是图的表示学习一个是语言的表示学习 先给两个图：图的邻接矩阵和self-attention可视化结果。 我们可以把multi-head attention不同的head理解为CNN中不同的卷积核，用来抽取不同的特征，文本中的每一个词对应于图中的一个节点，文本的上下文对应图节点的邻接节点，而self-attention就类似于一个全连接图，GNN学习的是node emmeding，而Transformer学习的是word emmeding。在公司图谱中，小明是经理，在家族图谱中，小明可能是丈夫，是父亲
                GNN与Transformer融合促进药物发现 | 2022几何&图机器学习展望
                BAAIBeijing的博客
                02-09 2189
                导读：几何机器学习和基于图的机器学习是当前最热门的研究课题之一。在过去的一年中，该领域的研究发展迅猛。在本文中，几何深度学习先驱 Michael Bronstein 和 Petar Vel...
                CVPR 2021最全论文开放下载！附pdf下载链接！
                中科院AI算法工程师的博客
                06-18 1万+
                CVPR 2021最全论文开放，附所有pdf下载链接！
                CVPR 2021 结果出炉！最全论文下载及分类汇总（更新中）
                热门推荐
                极市平台的技术博客
                03-01 6万+
                CVPR2021接受论文待更新~ 在2020年，目标检测与人脸方向热度经久不衰，目标跟踪、行人检测与重识别、图像分割等方向也占据大头，那么今年的热门方向将会有哪些？大家可以预测一波~ 极市一直非常关注CVPR，在每年都会进行CVPR相关的论文资源整理，包括论文解读、代码、技术直播、分方向盘点、最佳论文汇总等，也得到了许多开发者的支持。在Github上，极市的CVPR盘点已经收获了5.7K star。在今年，我们也会对CVPR2021进行实时跟进。 Github项目地址： https://github.
                TransGNN：Transformer和GNN能互相帮助吗？
                2401_85325397的博客
                06-05 1419
                GNN是一类用于处理图数据的深度学习模型，能够捕捉节点间的依赖关系。它们在多个领域表现出色，如社交网络分析、物理系统建模、蛋白质接口预测和疾病分类。由于Transformer强大的性能，Transformer模型及其变体已经被广泛应用于各种自然语言处理任务，如机器翻译、文本摘要、问答系统等。
                超容易出创新点的方向：GNN+Transformer！
                2401_82426425的博客
                01-15 619
                在近年的研究中，其一直是热门，且在各种图数据处理的任务中性能显著！比如NeurIPS上的SGFormer模型，便实现了推理时间快114倍的效果！模型GCFormer则准确率高达95.65％……想往这方向发论文的伙伴，可以多考虑：引入对比学习、强化学习；与多模态数据融合结合；开发能根据图的拓扑结构和节点属性自动调整权重的注意力机制；设计新的位置编码和结构编码等方向。为方便大家研究的进行，早点发出自己的顶会，我给大家，一起来看！论文原文+开源代码需要的同学看文末。
                论文 | TransGNN：Transformer和GNN可以互相帮助吗？
                人工智能讲师分享前沿技术
                12-20 1911
                具体来说，我们在GNN层的消息传递过程中，对每个中心节点的邻居节点的注意力样本进行聚合。注意力采样：给定输入图 G 及其相似度矩阵 S，对于图中的节点 𝑣𝑖，我们将其注意力样本定义为集合 Smp(𝑣𝑖) = {𝑣𝑗 |𝑣𝑗 ∈ 𝑉 和 𝑆(𝑖, 𝑗) ∈ top-k (𝑆(𝑖, :))} 其中𝑆(𝑖, :) 表示 S 的第 𝑖 行，𝑘 作为超参数，决定应该关注多少个节点。在图数据中，不需要计算每个节点对整个图的关注，只要考虑最相关的节点就足够了，这不仅降低了复杂性，而且还过滤掉了噪声节点的信息。
                结合Transformer与GNN！图Transformer15个创新方案，无痛涨点
                强化学习曾小健
                04-23 1640
                作者提出了一种新的神经网络编码器类别，称为DIFFORMER（基于扩散的Transformer），包括两个实例：一个具有线性复杂度的简单版本，适用于数量庞大的实例；作者提出了一种新的方法，称为谱注意力网络（SAN），它使用了一种学习位置编码（LPE），可以从拉普拉斯算子的全谱中学习节点的位置。为了解决分子表示学习中的问题，作者提出了一种名为GROVER的新框架。论文提出了一种名为Graphormer的图表示学习方法，它建立在标准的Transformer架构之上，并在广泛的图表示学习任务上取得了出色的结果。
                GNN-Transformer新突破！全局与局部的完美融合
                学姐带你玩AI的博客
                03-11 5529
                图神经网络（GNN）和Transformer的结合是近年来的研究热点。这类结合不仅能够让两者发挥各自的优势，还能推动模型的创新，提高处理图数据的效率和性能。具体点讲，通过利用Transformer，我们可以扩展GNN的感受野，包括那些距离中心节点较远的相关节点。相对的，GNN也可以帮助Transformer捕捉复杂的图拓扑信息，并从相邻区域高效地聚合相关节点。
                干货！用于文本图表示学习的GNN嵌套Transformer模型：GraphFormers
                AITIME_HY的博客
                05-07 2750
                点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本期AI TIME PhD直播间，我们邀请到微软亚洲研究院与中国科学技术大学联合培养在读博士生——杨俊涵，为我们带来报告分享《用于文本图表示学习的GNN嵌套Transformer模型：GraphFormers》。杨俊涵：微软亚洲研究院与中国科学技术大学联合培养在读博士生，主要研究方向为推荐系统、信息检索、文本表示学...
                NIPS'20 | 史上最大GNN: Self-Supervised Graph Transformer
                weixin_45519842的博客
                02-01 1388
                去年以来，随着新冠疫情的爆发，AI制药领域受到广泛关注。顶级会联网公司如字节/阿里/腾讯/华为纷纷成立自己的AI药物研发机构; 各大投资机构如红杉资本/鼎晖资本/高榕资本/DCM也都在疯...
                GNN
                03-08
                ### 图神经网络 (GNN) 简介 图神经网络（Graph Neural Networks, GNN）是一种处理结构化数据的强大工具，能够捕捉节点之间的复杂关系并应用于多种领域。这类算法通过聚合邻居信息来更新节点特征向量，在多轮迭代过程中逐步传播信息直至收敛。 #### 基本原理 在每一层中，每个节点会收集其相邻节点的状态，并基于这些状态计算自己的新状态。这一过程可以通过消息传递机制实现： \[ h_v^{(l+1)}=\sigma\left(W_l \cdot AGG\left(\left\{h_u^{(l)}, u \in N(v)\right\}\right)+b_l\right)[^1] \] 其中 \(AGG\) 表示聚集函数；\(N(v)\) 是节点v的邻接集合；而权重矩阵 \(W_l\) 和偏置项 \(b_l\) 则用于参数调整。激活函数 σ 可以是非线性的ReLU或其他形式。 #### 应用场景 GNN广泛适用于社交网络分析、推荐系统构建以及生物化学分子建模等多个方面。特别是在涉及非欧几里得几何特性的场合下表现尤为出色，比如交通流量预测或是蛋白质相互作用网的研究等[^2]。 对于特定类型的图表征学习任务而言，采用双曲空间中的嵌入方法可能带来更优的结果。这是因为某些现实世界的数据集天然具备树状或分层特性，而在这样的环境中，相比于传统的平坦欧式度量体系，弯曲的空间往往能提供更加紧凑有效的表达方式[^3]。 ```python import torch from torch_geometric.nn import GCNConv class SimpleGCN(torch.nn.Module): def __init__(self): super(SimpleGCN, self).__init__() self.conv1 = GCNConv(dataset.num_features, 16) self.conv2 = GCNConv(16, dataset.num_classes) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1) ``` 此段Python代码展示了如何利用PyTorch Geometric库快速搭建一个简单的图卷积网络模型来进行分类任务。
                评论
                添加红包

                请填写红包祝福语或标题

                个

                红包个数最小为10个

                元

                红包金额最低5元

                当前余额3.43元 前往充值 >
                需支付：10.00元
                成就一亿技术人!
                领取后你会自动成为博主和红包主的粉丝 规则
                hope_wisdom
                发出的红包
                实付元
                使用余额支付
                点击重新获取
                扫码支付
                钱包余额 0

                抵扣说明：

                1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
                2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

                余额充值