图神经网络
文章平均质量分 86
图神经网络相关内容,更多内容请关注公众号:图神经网络GNN
huanghelouzi
研究兴趣:图神经网络和差分隐私。
公众号:图神经网络GNN
展开
-
Node-wise Localization of Graph Neural Networks(IJCAI 2021)论文笔记
基本信息:::infoURL:论文链接论文代码更多图神经网络和深度学习内容请移步:Abstract:::tipsGraph neural networks (GNNs) emerge as a powerful family of representation learning models on graphs. To derive node representations, they utilize a global model that recursively aggregates inf原创 2022-03-17 20:44:32 · 967 阅读 · 0 评论 -
[图神经网络前沿课题]位置感知、身份感知、鲁棒性
图神经网络课程和PPT主页GNN的局限性论文《How Powerful are Graph Neural Networks?》指出一个最具表达能力的GNN应该具备以下特征:换句话说,就是最具表达能力的GNN应该使得具有相同领域结构的节点拥有相同的节点嵌入,具有不同领域结构的节点一定拥有不同的节点嵌入。需要注意的是,这里都基于一个前提假设:节点没有可区分性的特征,也就是说节点可能没有特征、节点有相同的特征或者节点有高度相似的特征。现有大部分的GNN大都不能保证上述两点要求,故可以说明现有GNN表原创 2021-08-23 23:13:06 · 1232 阅读 · 8 评论 -
[GNN 教程]GCN
更多图神经网络和深度学习内容请关注:引言这是我们介绍图神经网络的第一篇文章,取自Kipf et al. 2017,文章中提出的模型叫Graph Convolutional Network(GCN),个人认为可以看作是图神经网络的“开山之作”,因为GCN利用了近似的技巧推导出了一个简单而高效的模型,使得图像处理中的卷积操作能够简单得被用到图结构数据处理中来,后面各种图神经网络层出不穷,或多或少都受到这篇文章的启发。问题定义考虑图(例如引文网络)中节点(例如文档)的分类问题,假设该图中只有一小部分节点转载 2021-08-14 12:36:27 · 538 阅读 · 2 评论 -
图相关的一些基础概念
介数介数通常分为边介数和节点介数两种.节点介数定义为网络中所有最短路径中经过该节点的路径的数目占最短路径总数的比例.边介数定义为网络中所有最短路径中经过该边的路径的数目占最短路径总数的比例.所以首先应求出各点到各点的最短路径,可用迪杰斯特拉算法,然后算出经过某一节点有几条路径,之后求出节点介数。一般来说,节点介数相对于边介数好算一些。 介数反映了相应的节点或者边在整个网络中的作用和影响力,是一个重要的全局几何量,具有很强的现实意义。例如,在社会关系网或技术网络中,介数的分布特征反映了不同人员、资源和技术在原创 2021-06-22 10:29:53 · 2291 阅读 · 114 评论 -
从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (三)
本文属于图神经网络的系列文章,文章目录如下:从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一)从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (二)从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (三)恭喜你看到了本系列的第三篇!前面两篇博客分别介绍了基于循环的图神经网络和基于卷积的图神经网络,那么在本篇中,我们则主要关注在得到了各个结点的表示后,如何生成整个图的表示。其实之前我们也转载 2021-05-31 19:59:35 · 2273 阅读 · 99 评论 -
从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (二)
从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一)从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (二)从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (三)在上文中,我们简单介绍了基于循环图神经网络的两种重要模型,在本篇中,我们将着大量笔墨介绍图卷积神经网络中的卷积操作。接下来,我们将首先介绍一下图卷积神经网络的大概框架,借此说明它与基于循环的图神经网络的区别。接着,我们将从头开始为转载 2021-05-29 21:29:58 · 812 阅读 · 11 评论 -
从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一)
本文属于图神经网络的系列文章,文章目录如下:从图 (Graph) 到图卷积(Graph Convolution):漫谈图神经网络模型 (一)从图 (Graph) 到图卷积(Graph Convolution):漫谈图神经网络模型 (二)从图 (Graph) 到图卷积(Graph Convolution):漫谈图神经网络模型 (三)笔者最近看了一些图与图卷积神经网络的论文,深感其强大,但一些 Survey 或教程默认了读者对图神经网络背景知识的了解,对未学过信号处理的读者不太友好。同时,很多教程只转载 2021-05-27 23:20:12 · 1685 阅读 · 11 评论 -
[论文笔记] 身份感知图神经网络ID-GNN
文章目录Information摘要引言GNN的缺点研究现状本文方案贡献相关工作超越1-WL测试表达能力的图神经网络带归纳着色的图神经网络anisotropic消息传递的GNNs相关定义身份感知图神经网络ID-GNN归纳身份标记(着色)异构消息传递算法复杂性ID-GNNs 表达能力的理论研究ID-GNN比现有的GNNs更具表现能力ID-GNNs可对循环计数ID-GNNs表达能力的案例研究节点级任务:预测聚类系数边级任务:预测可达性或最短路径距离。图级:区分随机d-正则图。Information论文:Ide原创 2021-05-27 11:04:19 · 1435 阅读 · 10 评论 -
使用DGL编写GNN模块
使用DGL编写GNN模块有时我们构建的模型不仅仅是简单地堆叠现有的GNN模块,而是需要构建满足自己任务需求的GNN模块。如:我们想发明一种通过考虑节点重要性或边权重来聚合邻居信息的新方法。通过本文我们可以:理解 DGL信息传递API(DGL’s message passing APIs)自己实现GraphSAGE卷积模块阅读本文我们需要先学习the basics of training a GNN for node classification或者使用DGL完成节点分类任务。GNN和消息传递原创 2021-05-06 21:21:43 · 1404 阅读 · 26 评论 -
DGL中图(Graph)的相关操作
DGL中图(Graph)的相关操作通过文本,你可以学会以下:使用DGL构造一个图。为图指定节点特征和边特征。查询DGL图的相关属性,例如节点度。将DGL图转换为另一个图。使用加载并保存图。使用DGL创建图DGL将有向图(此处假设为同构图)表示为一个DGLGraph对象。我们可以通过指定图中的节点数量(可选)、源节点和目标节点列表来构造图,图中节点id从0开始且为连续的整数。例如,以下代码构造了一个有5个叶子结点的有向星型图(类似五角星),其中中心节点的ID为0。import dgl原创 2021-05-06 11:30:42 · 8581 阅读 · 7 评论 -
使用DGL完成节点分类任务
节点分类任务概述节点分类(node classification)任务是在图数据处理中最流行任务之一,一个模型需要预测每个节点属于哪个类别。在图神经网络出现之前,用于结点分类任务的方法可归为两大类:仅使用连通性(如DeepWalk或node2vec)简单地结合连通性和节点自身的特征相比之下,GNNs是一个通过结合局部邻域(广义上的邻居,包含结点自身)的连通性及其特征来获得节点表征的方法。Kipf等人将节点分类问题描述为一个半监督的节点分类任务。图神经网络只需要一小部分已标记的节点,即可准确地原创 2021-05-05 21:11:11 · 2932 阅读 · 53 评论 -
图神经网络 Graph Neural Networks 系列(1)图神经网络基础知识介绍
图是一种对一组对象(节点)及其关系(边)进行建模的数据结构。近年来,利用机器学习分析图的研究越来越受到重视,因为图具有很强的表现力,即图可以作为社会科学(社会网络)和自然科学等多个领域中大量系统的表示,例如蛋白质-蛋白质相互作用网络(protein-protein interaction networks)、知识图谱等。作为一种独特的非欧几里德(non-Euclidean)机器学习数据结构,图在节点分类、链接预测和聚类(node classification, link prediction, and cl原创 2021-03-12 17:38:14 · 649 阅读 · 0 评论 -
图神经网络 Graph Neural Networks 系列(2)图神经网络图论基础和数学知识基础
数学基础主要需要一些线性代数和概率论的一些知识,此部分可参考别的书籍或者资料。图论基本概念图通常用G=(V,E)G=(V, E)G=(V,E)表示,其中V是顶点集,E是边集。边e=u,ve=u,ve=u,v有两个端点u和v,u和v被e连接在一起。在这种情况下,u被称为v的邻居,或者换句话说,这两个顶点是相邻的。请注意,边可以是有向的,也可以是无向的。如果某个图所有边都是有向的,则称为有向图;如果所有边都是无向的,则称为无向图。结点v的度d(v)d(v)d(v)表示与结点v相连的边的数目。图的代数表原创 2021-03-12 22:28:55 · 556 阅读 · 0 评论 -
论文笔记-从图拓扑角度度量和消除图神经网络的过平滑问题
论文标题:Measuring and Relieving the Over-smoothing Problem for Graph NeuralNetworks from the Topological View论文链接:链接摘要图神经网络(GNNs)在许多基于图的任务中都取得了令人满意的性能。但是GNN存在过度平滑问题(在深层图神经网络中不同类别节点的表征不可区分)。本文对GNNs的过平滑问题进行了定量研究。首先,引入两个量化指标MAD和MADGap分别度量图节点表示的平滑性和过平滑性;其次证明了平原创 2021-03-28 11:12:40 · 2562 阅读 · 6 评论 -
论文笔记-理解和解决图卷积网络的性能退化问题
理解和解决图卷积网络的性能退化问题摘要简介理解和解决图卷积网络的性能退化问题图卷积网络的性能退化问题解决图卷积网络的性能退化问题-缓解方差膨胀技术论文标题:Understanding and Resolving Performance Degradation in Graph Convolutional Networks论文链接:arxiv代码链接:github摘要图卷积网络(GCN)由数层神经网络堆叠而成,在每层中执行传播操作(PROP,PROPagation)和变换操作(TRAN,TRANsf原创 2021-03-31 22:39:09 · 1601 阅读 · 2 评论 -
论文笔记-DIRECT MULTI-HOP ATTENTION BASED GRAPH NEURAL NETWORKS
论文标题:DIRECT MULTI-HOP ATTENTION BASED GRAPH NEURAL NETWORKS论文链接:摘要在图神经网络(GNN)中引入自注意力机制(self-attention)可以实现图表示学习的最先进(state-of-the-ar)性能。 然而自注意力机制仅在两个相互连接的节点之间进行计算,且图表示仅取决于两个相互连接节点。自注意力机制缺点为: 这种注意力计算不能考虑提供了图结构上下文信息的多跳邻居(跳数大于等于2的邻居)对节点表示学习的影响。 这篇论文提出了用于图原创 2021-04-08 12:21:35 · 2557 阅读 · 3 评论 -
论文笔记-Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
论文题目:Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning(AAAI 2018)论文链接:arxiv摘要GCN在卷积层中很好地聚合了局部结点特征和图拓扑结构信息,但它的机制并不清楚(类似一个黑匣子),它仍然需要大量的标记数据来验证和选择模型。在本文中,我们对GCN模型进行了深入的研究,并指出了它的基本的局限性。首先,我们 ** 证明了GCN模型的图卷积实际上是拉普拉斯平滑的一种特殊形式,这是G原创 2021-04-13 11:41:14 · 1699 阅读 · 6 评论 -
论文笔记-When Do GNNs Work: 理解和改进邻域聚合
When Do GNNs Work: Understanding and Improving Neighborhood Aggregation (IJCAI-20)原创 2021-04-15 17:06:25 · 4008 阅读 · 2 评论 -
图神经网络框架DGL教程-第1章:图
第1章:图图表示实体(节点)和它们的关系(边),其中节点和边可以是有类型的 (例如,"用户" 和 "物品" 是两种不同类型的节点)。 DGL通过其核心数据结构 DGLGraph 提供了一个以图为中心的编程抽象。 DGLGraph 提供了接口以处理图的结构、节点/边 的特征,以及使用这些组件可以执行的计算。1.1 关于图的基本概念图是用以表示实体及其关系的结构,记为 G=(V,E)G=(V,E)G=(V,E) 。图由两个集合组成,一是节点的集合 VVV ,一个是边的集合 EEE 。 在边集 EEE 中,转载 2021-05-03 16:41:45 · 1777 阅读 · 2 评论 -
图神经网络框架DGL教程-第2章:消息传递范式
第2章:消息传递范式消息传递是实现GNN的一种通用框架和编程范式。它从聚合与更新的角度归纳总结了多种GNN模型的实现。消息传递范式假设节点 vvv 上的的特征为 xv∈Rd1x_v\in\mathbb{R}^{d_1}xv∈Rd1,边 (u,v)(u,v)(u,v) 上的特征为 we∈Rd2w_{e}\in\mathbb{R}^{d_2}we∈Rd2。 消息传递范式 定义了以下逐节点和边上的计算边上计算: me(t+1)=ϕ(xv(t),xu(t),we(t)),(u,v,e)∈E转载 2021-05-04 14:01:59 · 2051 阅读 · 3 评论 -
图神经网络框架DGL教程-第3章:构建图神经网络(GNN)模块
第3章:构建图神经网络(GNN)模块DGL NN模块是用户构建GNN模型的基本模块。根据DGL所使用的后端深度神经网络框架, DGL NN模块的父类取决于后端所使用的深度神经网络框架。对于PyTorch后端, 它应该继承 PyTorch的NN模块;对于MXNet后端,它应该继承 MXNet Gluon的NN块; 对于TensorFlow后端,它应该继承 Tensorflow的Keras层。 在DGL NN模块中,构造函数中的参数注册和前向传播函数中使用的张量操作与后端框架一样。这种方式使得DGL的代码可以转载 2021-05-04 14:23:51 · 1481 阅读 · 0 评论 -
图神经网络框架DGL教程-第4章:图数据处理管道
第4章:图数据处理管道DGL在 dgl.data 里实现了很多常用的图数据集。它们遵循了由 dgl.data.DGLDataset 类定义的标准的数据处理管道。 DGL推荐用户将图数据处理为 dgl.data.DGLDataset 的子类。该类为导入、处理和保存图数据提供了简单而干净的解决方案。4.1 DGLDataset类DGLDataset 是处理、导入和保存 dgl.data 中定义的图数据集的基类。 它实现了用于处理图数据的基本模版。下面的流程图展示了这个模版的工作方式。即Check转载 2021-05-04 16:28:38 · 2059 阅读 · 1 评论 -
图神经网络框架DGL教程-第5章:训练图神经网络
第5章:训练图神经网络本章通过使用 第2章:消息传递范式 中介绍的消息传递方法和 第3章:构建图神经网络(GNN)模块 中介绍的图神经网络模块, 讲解了如何对小规模的图数据进行节点分类、边分类、链接预测和整图分类的图神经网络的训练。本章假设用户的图以及所有的节点和边特征都能存进GPU。对于无法全部载入的情况,请参考用户指南的 第6章:在大图上的随机(批次)训练。后续章节的内容均假设用户已经准备好了图和节点/边的特征数据。如果用户希望使用DGL提供的数据集或其他兼容 DGLDataset 的数据(如 第转载 2021-05-05 16:07:12 · 2340 阅读 · 6 评论 -
图神经网络框架DGL教程-第6章:在大图上的随机(批次)训练
还没有看。第6章:在大图上的随机(批次)训练转载 2021-05-05 16:55:49 · 754 阅读 · 0 评论 -
图神经网络框架DGL教程-第7章:分布式训练
留空,暂时还没有看第7章:分布式训练转载 2021-05-05 16:57:26 · 538 阅读 · 1 评论