五月的echo
神的孩子全跳舞
展开
-
图神经网络(二十七)Disentangled Graph Convolutional Networks,ICML2019
Introduction本文旨在研究从GNN的传播过程中解耦影响邻居信息传递的潜在因子,引入了解纠缠图卷积网络(DisenGCN)来学习解纠缠节点表示。此外,提出了一种新的邻域路由机制,该机制能够动态地识别可能导致节点与其某个邻域之间产生边缘的潜在因素,并据此将该邻域分配给一个信道,该信道提取并卷积特定于该因素的特征。从理论上证明了路由机制的收敛性。实验结果表明,我们提出的模型可以获得显著的性能增益,特别是当数据显示存在许多纠缠因素时。可以以推荐系统中例子说明潜在因子是什么。比如,当用户节点uuu与..原创 2021-09-21 15:19:19 · 1117 阅读 · 0 评论 -
图神经网络(二十六) Graph Random Neural Networks for Semi-Supervised Learning on Graphs, NeurIPS2020
本文出自清华大学唐杰老师团队。在本文中,提出了一个简单而有效的框架图随机神经网络(GRAND)来解决图神经网络过拟合、过平滑、抗扰动性差等问题,设计了一种随机传播策略来进行图数据扩充。受到图像上研究的“一致性正则化”(consistency regularized training)启发,设计半监督学习的图数据增强和一致性正则化策略。具体来说,每个节点的特征可以部分(dropout)或全部随机删除,然后在图上传播受扰动的特征矩阵,因此,每个节点都能够对特定的邻域不敏感,增加了GRAND的鲁棒性。随机传播原创 2021-02-17 17:46:53 · 1751 阅读 · 0 评论 -
图神经网络(二十五) Graph Neural Networks with Heterophily,AAAI2021
本文作者来自于密歇根大学、Adobe Research以及Intel Labs。本文拟提出一个框架去解决图神经网络异质性的问题,有关这部分的预备知识可以见Geom-Graph-ICLR2020。本文的主要贡献如下:通过将兼容矩阵HHH(compatibility matrix)合并到基于gnn的方法中,描述了gnn对异质性网络的推广。也就是提出了一个HHH可以解决网络异质性的问题。提出了一种直接建模和学习类兼容性矩阵HHH的新方法CPGNN。这种公式产生了许多优点,包括对于具有同质性或异构性的图以及原创 2021-02-14 19:42:02 · 1490 阅读 · 0 评论 -
图神经网络(二十四) STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS, ICLR 2020
本文作者来自斯坦福、爱荷华以及哈佛。图的预训练与Bert类似,通过对单个节点和整个图级别预先训练一个GNN模型,以便GNN可以同时学习有用的局部和全局表示,然后可以针对下游任务进行微调。但是在整个图或单个节点级别预训练gnn的策略,提供的改进有限,甚至可能导致许多下游任务的负迁移。本文提出的节点以及图一起预训练的方式,避免了负迁移,并显著改善了下游任务的泛化结果:(a.i)当只使用节点级预训练时,不同形状的节点(语义上不同的节点)可以很好地分离,但是节点嵌入不能组合,因此通过池化节点级嵌入所生成的图嵌原创 2021-02-10 12:27:20 · 396 阅读 · 0 评论 -
图神经网络(二十三) Data Augmentation for Graph Neural Networks,AAAI2021
本文的作者来自美国圣母大学。数据增强技术已被广泛用于提高机器学习模型的通用性。然而,对于图数据增强的工作研究较少。这主要是由于图的复杂、非欧几里得结构限制了可能的操作操作。本文讨论了图数据增强的实践和理论动机、考虑因素和策略。工作表明,神经边缘预测可以有效地编码类同质结构促进内部类边并降级类间的边。之后提出了GAUG图形数据增加框架,提高GNN架构和数据集的性能。Introduction本文归纳了现有的三种图数据增强的办法。DropEdge。ADARdge,在预测具有相同(不同)标签且具有高置信度的节原创 2021-02-09 09:39:53 · 3193 阅读 · 1 评论 -
图神经网络阅读(二十二)Rethinking Graph Regularization for Graph Neural Networks,AAAI2021
本文的作者来自香港中文大学。本文证明了图拉普拉斯正则化对现有GNN的好处很少甚至没有,并提出了一种简单但图拉普拉斯正则化变体,称为传播正则化(P-reg),以提高现有GNN模型的性能。本文的模型十分简单,就是公式定理比较复杂,GNN的相关背景略。Propagation-Regularization(P-Reg)首先,模型对图输入使用两层GCN(表示成f1f_1f1)的到输出Z∈RN×CZ∈R^{N×C}Z∈RN×C。之后对ZZZ继续进行操作得到Z′=A^ZZ'=\hat{A}ZZ′=A^Z,本质上原创 2021-02-05 18:52:52 · 1155 阅读 · 0 评论 -
图神经网络论文阅读(二十一) Simplifying Graph Convolutional Networks,ICML2019
本文作者来自Cornell University, Federal Institute of Ceara (Brazil)。本文提到,GCNs从其深度学习传承中继承了相当大的复杂性,这对于要求较低的应用程序来说可能是负担和不必要的。因此本文旨在采用线性模型的方式去降低GCN的复杂度,通过反复去除GCN层之间的非线性,并将结果函数压缩为单个线性变换,来降低GCNs的过度复杂性,并提出网络Simple Graph Convolution (SGC)。Model假设GCN层之间的非线性不是关键的——但是大原创 2020-11-12 14:16:46 · 615 阅读 · 1 评论 -
图神经网络论文阅读(二十) Towards Deeper Graph Neural Networks
本文的三位作者来自Texas A&M University。本文为深度GNN的发展做出了以下贡献:本文认为当前图卷积运算中表示变换与传播的过度耦合是影响算法性能的关键因素。将这两种操作解耦后,更深层次的图神经网络可用于从更大的接受域学习图节点表示。在此基础上提出了深度自适应图神经网络(DAGNN)来自适应地吸收来自大接受域的信息。Graph Convolution Operations首先还是从本文的视角简单的介绍一下图神经网络中的算子,被分成了PROPAGATION和TRANSFORMA原创 2020-11-06 20:00:07 · 1369 阅读 · 0 评论 -
ICLR2021-3:GRAPH VIEW-CONSISTENT LEARNING NETWORK
第三篇双盲论文。本论文把Co-train(协同训练)的思想引入半监督节点分类的任务中,取得了不错的效果,但是个人感觉创新性还是稍显不足,不知道最后能不能中ICLR。本文的贡献总结如下:提出了一种用于半监督节点分类的图视图(view)一致性学习框架,充分论证了图视图一致性的理论结构。设计了GVCLN,成功地解决了半监督学习中的标签不足问题。在不同的半监督节点分类任务上证明了所提方法的高效率和有效性。co-train为了明白本文到底在做什么,首先你得先知道协同训练。这里偷个懒,直接引用别人的博客:原创 2020-10-31 10:33:10 · 318 阅读 · 5 评论 -
ICLR2021-2:ARE GRAPH CONVOLUTIONAL NETWORKS FULLY EXPLOITING THE GRAPH STRUCTURE
第二篇盲审的论文,这篇可能相比别的中的希望不是很大?哈哈哈,我猜的啦。为了利用远距离的依赖信息,本文采取了四种不同的图结构信息注入的方式,并利用它们来分析长期依赖关系的重要性。提出了一种新的正则化技术,基于带重新启动的随机游走方法,称为RWRReg,它鼓励网络将远程信息编码为节点嵌入。长期结构信息的缺乏极大地影响了最新模型的性能,而RWRReg利用的长期信息使所有考虑的任务的平均精度提高了5%以上。Contribution估了在图结构上注入的不能被2或3跳社区捕获的信息是否对几个最先进的GCN模型的性原创 2020-10-30 19:23:18 · 389 阅读 · 1 评论 -
ICLR2021-1:MULTI-HOP ATTENTION GRAPH NEURAL NETWORKS
GAT的注意机制并没有考虑到非直接连接但提供重要网络上下文的节点,这可能会导致预测性能的提高。因此本文的作者提出了Multi-hop Attention Graph Neural Network (MAGNA),将多跳上下文信息纳入注意力计算的原则方法,使GNN的每一层都能进行远程交互。为了计算非直接连接的节点之间的注意力,MAGNA将注意力分数分散到整个网络中,从而增加了GNN每一层的感受域。这样,网络聚合的信息增加,并且有注意力参数作为特征选择的指导。从理论上来说,3层每层6step的MAGNA和3×6原创 2020-10-29 11:28:41 · 2159 阅读 · 3 评论 -
图神经网络论文阅读(十九) Position-aware Graph Neural Networks,ICML2019
本文的三位作者来自斯坦福大学。在正式阅读本文之前,我们考虑这样一个事实:以GCN为代表的领域聚合方式在每一轮的前向传播中,只能获取到N-hop邻域内节点的特征,并且,其最为基本的想法是基于网络同质性的,也就是相邻节点具有相似性。假定,对于异质网络,中心节点A的type为1,邻域节点BCD的type为2,那么在一次聚合之后,A就会变成2。并且,过深的网络会造成过平滑,这都是GCN无法解决的。本文提出了一种用于计算位置感知节点嵌入的新型图形神经网络——位置感知图神经网络。P-GNN首先对锚节点集进行采样,计原创 2020-10-14 14:33:34 · 1723 阅读 · 0 评论 -
图神经网络论文阅读(十八) GeniePath: Graph Neural Networks with Adaptive Receptive Paths,AAAI2019
本文作者来自于Ant Financial Services Group和Georgia Institute of Technology。本文提出一种可扩展的方法,用于学习定义在置换不变图数据上的神经网络的自适应接受域。在GeniePath中,我们提出了一种自适应路径层,它由两个互补的功能组成,分别用于广度和深度的探索,前者学习不同大小邻域的重要性,而后者则从不同跳点的邻域中提取和过滤聚合的信号。在几个数据集上的实验表明,本文的方法是相当有竞争力的,并在大型图表上产生最先进的结果。另一个显著的结果是,我们的原创 2020-10-12 17:53:51 · 906 阅读 · 0 评论 -
图神经网络论文阅读(十七) MixHop: Higher-Order Graph Convolutional Architectures,ICML2019
本文的全名叫做《MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing》,作者们来自University of Southern California与Google AI, New York。GCN由于基于切比雪夫截断的简化使得在卷积的过程中只能使用邻居节点的信息,不能学习一般的邻域混合关系。因此本文提出了新的模型MixHop,它可以通过在不同距离重复混合邻居的特征表示来学习这些关系。原创 2020-10-12 15:59:34 · 3197 阅读 · 0 评论 -
图神经网络论文阅读(十六) GraLSP: Graph Neural Networks with Local Structural Patterns,AAAI 2020
本文作者来自香港科技大学、北大和北邮,其中包含宋国杰老师和石川老师,这两位都是国内研究图表示学习的翘楚了。之前读石川团队论文的时候自己犯傻发邮件问了一个比较弱智的问题,石川老师还是让学生耐心帮我解答了。本文做了我一直想做的事情:GNN聚合邻居特征的时候同时考虑结构信息。有很多研究都是基于Motif(或者叫graphlet)进行的,比如High Order Network Representation,WWW2018,不过需要事先的人工定义,在前几年唐杰老师(比如StructInf: Mining Stru原创 2020-10-08 18:23:21 · 1587 阅读 · 5 评论 -
图神经网络论文阅读(十五) MEASURING AND IMPROVING THE USE OF GRAPH INFORMATION IN GRAPH NEURAL NETWORKS,ICLR2020
本文的作者们来自于香港中文大学。对于GNNs从图形数据中实际获得了多少性能,人们的理解是有限的。本文介绍了一种基于上下文的GNN框架,并提出了两种平滑度度量方法来度量从图数据中获得的信息的数量和质量。然后设计了一种新的GNN模型CS-GNN,以改进基于图的平滑度值的图信息的使用。在不同类型的实验中,CS-GNN的性能优于现有的方法。A CONTEXT-SURROUNDING FRAMEWORK AND SMOOTHNESS METRICS直接介绍上下文框架和平滑值的度量。用svs_vsv表示从v的原创 2020-09-02 10:26:09 · 759 阅读 · 0 评论 -
图神经网络论文阅读(十四) Going Deep: Graph Convolutional Ladder-Shape Networks,AAAI2020
忙里偷闲看一篇论文。本文作者来自University of Technology Sydney, Australia。本文贡献如下:提出了一种基于上下文特征通道对称地构造在一条收缩路径和一条扩展路径上的图卷积网络,极大地扩展了频谱图卷积网络的深度。这个可以参照U-Net。本文提出的图卷积梯形网络(GCLN)解决了基于邻域聚合的神经网络中卷积层较多的特征过平滑问题。在半监督和非监督节点级任务上的大量实验,以及与足够的经典和先进基线相比的图向任务,都证明了GCLN的有效性。Graph Convolu原创 2020-08-25 10:58:25 · 576 阅读 · 5 评论 -
图神经网络论文阅读(十三) Masked Graph Convolutional Network,IJCAI2019
目录Label PropagationReferences本文的作者来自河北工业大学,天大以及北大。半监督中有一种方法是在图上传播标签,也就是Label Propagation;还有就是咱们熟悉的GCN了。前者传播的是标签,也就是邻近的节点在直觉上应该具有相同的标签;后者传递的是属性。本文首先将半监督方法分为对称与非对称的传播方法两类,然后指出,在属性传播的过程中,GCN把所有的邻居节点的特征都考虑在内了;实际上有些属性是不应该传播的。举个例子,大V的类别(人文、科技)这种属性可以传播给他的关注者,但是原创 2020-08-23 10:13:55 · 1058 阅读 · 0 评论 -
图神经网络论文阅读(十二) COMBINING NEURAL NETWORKS WITH PERSONALIZED PAGERANK FOR CLASSIFICATION ON GRAPHS
文章目录PageRankPERSONALIZED PROPAGATION OF NEURAL PREDICTIONSPersonalized propagation of neural predictions(PPNP)Approximate personalized propagation of neural predictions (APPNP)看一下源代码实验Model hyperparametersResultsReferences本文发表于2019年ICLR。标题放不下了就放在介绍里了。作者来自原创 2020-08-21 18:32:37 · 784 阅读 · 0 评论 -
图神经网络论文阅读(十一) Hierarchical Graph Convolutional Networks for Semi-supervised,IJCAI2019
本文作者来自中科大。基于邻域聚集的模型大多比较浅,缺乏图池机制,使得模型无法获得足够的全局信息。为了增加接收域,我们提出了一种新的半监督节点分类的深度层次图卷积网络(Hierarchical Graph Convolutional Network (H-GCN))。H-GCN首先将结构上相似的节点重复聚合为超节点,然后将粗化后的图细化为原始图,恢复每个节点的表示。所提出的粗化过程扩大了每个节点的接受域,从而可以捕获更多的全局信息,而不是仅仅聚合一跳或两跳的邻域信息。本文的方法其实就是图Encoder-De原创 2020-08-18 10:51:08 · 3448 阅读 · 1 评论 -
图神经网络论文阅读(十) SPAGAN: Shortest Path Graph Attention Network,IJCAL2019
目录Proposed MethodShortest Path GenerationPath SamplingHierarchical Path Aggregation本文的作者来自美国史蒂文斯理工学院;浙大;纽约州立大学布法罗分校;悉尼大学。本文提出了一种基于最短路径的注意力网络:Shortest Path Graph Attention Network (SPAGAN),SPAGAN进行了基于路径的注意力,它明确地考虑了在中心节点与其高阶邻居之间产生最小代价或最短路径的一系列节点的影响。与基于节点的G原创 2020-08-17 08:39:03 · 1464 阅读 · 6 评论 -
图神经网络论文阅读(九) Break the Ceiling: Stronger Multi-scale Deep Graph Convolutional Networks,NeurIPS2019
目录1.Krylov subspace2.Why Deep GCN Does Not Work Well?3. Spectral Graph Convolution and Block Krylov Subspaces3.1 Block Krylov Subspaces3.2 Spectral Graph Convolution in Block Krylov Subspace Form3.3 Deep GCN in the Block Krylov Subspace Form本文作者来自加拿大McGil原创 2020-08-15 15:49:38 · 718 阅读 · 0 评论 -
图神经网络论文阅读(八) Meta-GNN,ASONAM2019
目录Meta-graph(Motif)PROBLEM FORMULATION首先要说一下,这篇论文叫《Meta-GNN: Metagraph Neural Network for Semi-supervisedlearning in Attributed Heterogeneous Information Networks》,并且它的pre-print版本叫另一个名字《Motif-based Convolutional Neural Network on Graphs》,但其实本质上说的是一回事。本文的作原创 2020-07-20 18:10:49 · 1217 阅读 · 0 评论 -
图神经网络论文阅读(七) GEOMETRIC GRAPH CONVOLUTIONAL NETWORKS,ICLR(Under review)2020
本文还未正式出版(2020/4/11,在第二轮review),作者来自吉林大学杨博老师团队(请原谅一作大佬我不认识hhh)。话说杨博老师确实是位负责人、有学术精神且高产的好老师,欢迎大家踊跃报考哈。名词解释消息传递神经网络(MPNNs):参见文献【1】,它是一种形式化的空域卷积的框架,分为消息传递与状态更新,其操作可以近似地认为是GCN。异配图(disassortative graphs)...原创 2020-04-11 15:14:58 · 1674 阅读 · 13 评论 -
图神经网络论文阅读(六) GRAPH ATTENTION NETWORKS,ICLR2018
本文的第一作者来自剑桥大学计算机学院。文本提出了图形注意网络(GATs),这是一种新型的神经网络结构,它对图结构的数据进行操作,利用masked self-attention来解决先前方法的缺点。通过堆叠不同的GAT层,使得节点能够关注它们的邻域特性。我们可以(隐式地)为一个邻域内的不同节点指定不同的权重,而不需要任何昂贵的矩阵运算(比如求逆),也不需要预先了解图的结构。GRAPH ATTEN...原创 2020-03-15 13:46:52 · 1388 阅读 · 0 评论 -
图神经网络论文阅读(五) Structure-Aware Convolutional Neural Networks,NIPS2018
本文的作者来自中科院自动化所以及中科院大学人工智能学院。为了拓展卷积操作到非欧图结构,本文提出了structure-aware convolution(结构感知卷积)将非欧式图与欧式图结构之间的差别抹平。从技术上讲,结构感知卷积中的滤波器被推广到单变量函数,该单变量函数能够聚合具有不同拓扑结构的局部输入。由于单变量函数需要确定无数个参数,所以使用函数逼近理论近似代替单变量函数,最终建立起模型St...原创 2020-02-05 21:13:32 · 1937 阅读 · 0 评论 -
图神经网络论文阅读(四) Large-Scale Learnable Graph Convolutional Networks, KDD2018
本文的三位作者来自华盛顿州立大学,同之前的几篇论文一样,本文也是旨在解决如何在非欧的graph中获得适用于广义卷积的子图结构,并提出模型learnable graph convolutional layer (LGCL)。LGCL根据值的排序,为每个特征自动选择固定数量的相邻节点,将图形数据转换成一维格式的网格状结构(在节点邻域矩阵上执行最大池化,得到top-k特征元素),从而可以对泛型图进行常规...原创 2020-01-15 12:08:22 · 1282 阅读 · 4 评论 -
图神经网络论文阅读(三) Inductive Representation Learning on Large Graphs,NIPS2017
本文的三位作者均来自斯坦福大学计算机系,他们提出一个通用的归纳框架GraphSAGE(空域卷积)。该框架通过从节点的本地邻居中采样和聚集特征来生成嵌入,并且提出了三种不同的聚合邻居特征的方式,这使得卷积的操作更贴近于直观上的CNN。本模型也可以应用于半监督甚至是无监督的任务。Model至于Relative work中涉及到的图embedding方法(随机游走、因子分解机等)就不过多介绍了,直...原创 2020-01-14 17:02:22 · 1162 阅读 · 0 评论 -
图神经网络论文阅读(一) Diffusion-Convolutional Neural Networks,NIPS2016
Diffusion-Convolutional Neural Networks2016年发表于INPS,作者来自马萨诸塞大学。实际上这篇文章要早于Kipf的论文,它提出了扩散图卷积网络(DCNN),可以在结点分类和图分类的任务上分别建模,本质上属于空域(Spatial)卷积[1]。下面就按照论文的思路去介绍这篇文章。Introduction本文通过引入扩散-卷积(diffusion-conv...原创 2019-12-26 22:03:30 · 3266 阅读 · 0 评论 -
谱卷积的GNN原理解释(Spectral Network),附代码
谱卷积的GNN原理解释(Spectral Network)写在最前面:基于谱分解的GNN的思想来自Kipf大佬的论文: Semi-supervised classification with graph convolutional networks, 后边许多文章都从这篇文章获得了灵感。但是由于这篇文章的理解需要建立在很深的数学功底之上,包括中科院的博士大佬在内都没有很透彻地说明以下几个问题:...原创 2019-12-06 21:59:17 · 7488 阅读 · 4 评论