tangz-Up-CSDN博客

原创 Graph Transformer & Transformer

该架构被扩展为具有边表示，这对于在边缘或成对相互作用(如分子中的键类型，或kgs中的关系类型等)上具有丰富信息的任务至关重要。*位置编码由拉普拉斯特征向量表示，自然地推广了NLP中经常使用的正弦位置编码。*注意力机制是图中每个节点的邻域连通性的函数。*层规范化被批量规范化层取代。

2023-08-28 18:46:57 152

原创 CIKM 2022 Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching

文章目录Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing引言相关工作不平衡学习图形结构学习架构模型理解拓扑不平衡伸展不足和过度挤压定量分析缓解拓扑不平衡位置感知结构学习阶级冲突量表用优化结构学习实验结论Position-aware Structure Learning for Graph Topology-imbalance by Rel

2023-07-06 17:13:23 334 1

原创 Hyperbolic Graph Neural Networks: A Review of Methods and Applications

图神经网络将传统神经网络推广到图结构数据，因其令人印象深刻的表示能力而受到广泛关注。尽管取得了显著的成就，但欧氏模型在图相关学习中的性能仍然受到欧氏几何表示能力的限制，特别是对于具有高度非欧氏潜在解剖结构的数据集。近年来，双曲空间因其具有指数增长的特性，在处理树形结构或幂律分布的图数据方面得到了越来越多的关注。全面回顾了当前双曲图神经网络的技术细节，将它们统一到一个通用框架中，并总结了每个组件的变体。此外，总结了该方法在多个领域的一系列相关应用。

2023-07-05 18:52:28 450

原创 ICLR 2022:Equivariant Subgraph Aggregation Networks

消息传递神经网络(MPNN)是在图结构数据上进行深度学习的领先架构，在很大程度上是因为它们的简单性和可扩展性。不幸的是，这些架构的表达能力有限。本文提出一种新的框架，等变子图聚合网络(ESAN)来解决这个问题。主要观察是，虽然两个图可能无法被MPNN区分，但它们往往包含可区分的子图。因此，本文建议将每个图表示为由一些预定义策略派生的一组子图，并使用合适的等变架构来处理它。本文开发了图同构的一维Weisfeiler-Leman (1-WL)测试的新变体，并证明了ESAN在这些新的WL变体方面的表达能力的下界。

2023-06-16 15:31:58 229 1

原创 KDD2022论文:Streaming Graph Neural Networks with Generative Replay【概读】

增量训练图神经网络(gnn)是一个特别紧迫的问题，因为现实世界的图数据通常以流方式到达，模型更新效率低下会导致过时的嵌入，从而降低其在下游任务中的性能。在本文中，我们提出了一种基于生成重播的流GNN，它可以在不访问历史数据的情况下，在保持现有知识的同时，增量地学习新的模式。基于重新开始随机行走的生成模型可以学习并生成假的历史样本(即节点及其邻域)，可以用真实数据进行训练，避免遗忘问题。此外，我们还设计了生成模型的增量更新算法来保持图的分布，并为GNN捕获当前模式设计了增量更新算法。

2023-05-11 21:02:15 295

原创 KDD2022论文 GPPT: Graph Pre-training and Prompt Tuning to Generalize Graph Neural Networks 【概读】

一种有效的解决方案是在图中应用迁移学习:使用易于获取的信息对gnn进行预训练，并对其进行微调，使其仅使用少量标签即可优化下游任务。然而，他们很少注意到借口和下游任务之间固有的培训目标差距。这个显著的差距通常需要昂贵的微调，以使预训练的模型适应下游问题，这阻碍了预训练知识的有效提取，然后导致糟糕的结果。在预训练模型的基础上，我们提出了图形提示函数，将独立节点修改为令牌对，并重新制定与边缘预测相同的下游节点分类。因此，无需繁琐的微调，就可以使用预训练的gnn来评估令牌对的链接概率，并产生节点分类决策。

2023-05-11 20:55:34 288

原创 KDD2022论文: Graph Neural Networks with Node-wise Architecture

研究问题：现有工作遵循NAS(Neural Architecture Search)的惯例，将搜索到的最优体系结构平等地应用于所有实例(即节点)。然而，对于同一图中的不同节点，它们的局部模式(包括拓扑结构和其邻域中的节点属性)通常是非常不同的，这使得对所有节点应用相同的体系结构是不合适的。对比图1a的两行，密集连接节点的消息传播速度要比连接较少的节点快得多。这一现象被分析为随着图卷积操作的迭代，度越大的节点越快产生过平滑的节点嵌入。在我们的示例中，我们强调以节点明智的方式选择适当聚合器的必要性。

2023-05-11 11:35:12 84

qq_35058766的博客