图神经网络
文章平均质量分 93
同构 异构 时序……
文件夹66
from now!
展开
-
Self-Supervised Graph Transformer on Large-Scale Molecular Data
相关资源论文:https://papers.nips.cc/paper/2020/file/94aef38441efa3380a3bed3faf1f9d5d-Paper.pdf代码:https://github.com/tencent-ailab/grover这篇文章发表于NIPS 2020,提出了一种借鉴Transformer的图神经网络,且涉及了两个自监督任务来预训练模型。整个模型称为GROVER。Motivation两个问题阻碍了GNNs在实际场景中的使用:带标签的分子数较少,远远不够用原创 2021-04-21 11:52:25 · 1225 阅读 · 0 评论 -
Graph-Bert: Only Attention is Needed for Learning Graph Representations
相关资源论文:http://www.ifmlab.org/files/paper/graph_bert.pdf代码:https://github.com/jwzhanggy/Graph-Bert这篇文章2020年发表于arXiv,借鉴了Transformer,提出一种仅使用注意力机制的图神经网络。Motivation主流的GNNs过度依赖图上的连接,导致了几个严重的性能问题:suspended animation problem:当模型深度到达一定上限时,网络将不会对训练数据相应;over-原创 2021-04-20 14:50:51 · 306 阅读 · 0 评论 -
时序图神经网络(3)
2019论文5 DyREP: Learning Representation over Dynamic Graphs论文6 Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting论文7 Variational Graph Recurrent Neural Networks论文8 Dynamic Graph Representation Learning via Self-attent原创 2021-02-07 21:16:14 · 1985 阅读 · 1 评论 -
时序图神经网络总结(2)
2018论文3 Spatial temporal graph convolutional networks for skeleton-based action recognition. AAAI 2018论文4 Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting. ICLR 2018论文3 Spatial temporal graph convolutional networks for ske原创 2021-02-05 10:57:06 · 1102 阅读 · 2 评论 -
时序图神经网络总结(1)
本系列是整理关于用图神经网络(特别是图卷积)来建模时序图数据的论文。2016-2017基本概念论文1 Structural Sequence Modeling with Graph Convolutional Recurrent NetworksMotivationMethodModel 1Model 2Result论文2 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecast原创 2021-02-04 11:47:22 · 5960 阅读 · 0 评论 -
异构图神经网络(5)Heterogeneous Graph Transformer
这篇文章发表在WWW2020,提出了动态异构图建模方法。HGTMotivation现在基于GNN来学习异构图的方法有以下几点问题:大多数方法,对于每一种异构图,都需要特定的领域知识来设计meta paths;他们有的简单假设节点/边的不同类别都共享着相同的特征空间,或者有的对于不同的类别,分别设置了权重,来让它们的特征向量被映射到同一特征空间中。作者认为这样不足以捕获异构图特性;大多数方法都忽略了异构图的动态特性。Contribution提出了依赖于边和节点类别的注意力机制,解决图的异原创 2021-02-02 13:43:41 · 2510 阅读 · 4 评论 -
异构图神经网络(4)Graph Transformer Networks
Graph Transformer Networks这篇文章发表于NIPS 2019。Motivation最近关于异构图嵌入学习的方法都是设计meta-path,基于meta-path将异构图划分成多个同构图,然后再用传统的GNN处理同构图。这种two-stage的方法要求对于每个问题手动设计meta-paths,后续分析的准确性会因不同的meta-paths而受到影响。所以作者为了防止手动选择meta-paths不利于了模型效果,提出了自动学习meta-paths的方法。PreliminaryG=原创 2021-02-01 14:22:46 · 1634 阅读 · 2 评论 -
异构神经网络(3)MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding这篇文章发表于WWW 2020。Motivation现在GNN(图神经网络)体系中先进的方法都假设输入是同构图,无法用于异构图的嵌入表示。现存的异构图嵌入方法都是基于meta-path的概念(具体概念可以参考前两篇异构神经网络论文),但这些方法都存在至少以下的一个问题:模型没有利用节点的内容信息特征,所以往往对于节点信息丰富的异构图,表现的原创 2021-02-01 11:54:50 · 1395 阅读 · 0 评论 -
异构图神经网络(2)Heterogeneous Graph Neural Network
Heterogeneous Graph Neural Network是发表在KDD 2019的一篇文章,提出了HetGNN模型,采用LSTM进行节点级别的聚合,采用注意力机制进行语义级别的聚合。Motivation作者认为现在的网络几乎都没有同时考虑异构网络的结构信息以及每个节点的异构内容信息(大概就是属性的意思吧)。当前先进的GNNs并没有对异构图解决以下几个问题:很多异构图中节点也许并没有和其他所有类型的邻居节点,以及不同节点的邻居个数也许不同,这就有一个问题:C1:如何采样异构图中节点的邻居原创 2021-01-29 21:03:37 · 1647 阅读 · 0 评论 -
异构图神经网络(1)Heterogenous Graph Attention Networks
Heterogenous Graph Attention Networks 这篇文章发表在WWW 2019会议上,主要是用了注意力机制来进行节点级别聚合和语义级别的聚合,从而提出了HAN模型。Motivation异构性和丰富的语义学信息对构建一个适用于异构图的图神经网络带来了挑战。目前虽然自注意力机制取得了很大的进步,但还没有将其应用于对异构图的建模。Introduction构建一个适用于异构图的带有注意力机制的图神经网络需要以下要求:异构图与生俱来的异构特性,图中有多种类型的节点和边,不同类型原创 2021-01-29 19:41:28 · 5407 阅读 · 1 评论