论文阅读_图神经网络GIN

最新推荐文章于 2024-09-26 09:37:01 发布
最新推荐文章于 2024-09-26 09:37:01 发布
阅读量1k 收藏 12
点赞数
分类专栏： 论文阅读 文章标签： 神经网络 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xieyan0811/article/details/125239177
版权

英文题目：How Powerful are Graph Neural Networks？
中文题目：图神经网络有多强大？
论文地址：https://arxiv.org/pdf/1810.00826.pdf
领域：图神经网络，知识表示
发表时间：2018
作者：Keyulu Xu等，MIT，斯坦福大学
出处：ICLR
被引量：1506
阅读时间：22.06.11

读后感

这也是一篇引用量很大的图神经网络精典论文。之前研究方法着重于表示节点，引文着眼于表征图的结构。作者认为之前方法难以区分不同的图结构，并提出了一种基于GNN的方法GIN，它的区分效果与WL-Test效果相当。

介绍

一般情况下一个节点的表式通过聚合它k跳之内的邻近节点计算，而全图的表示则通过对所有节点的池化计算。

近年来新型GNN的设计主要基于经验直觉、启发式和实验试错法，而对神经网络的性质和局限性的理论较少。文中提出理论框架来分析GNN的能力，这里主要是评价模型是否能够区分网络结构。

文中使用了WL-test方法，即图同构测试，它是一个区分网络结构的强效方法，也是通过迭代聚合邻居的方法来更新节点，它的强大在于使用了injective（见后）聚合更新方法。而这里要评测GNN是否能达到类似WL-test的效果。

文中还使用了多合集multiset的概念，指可能包含重复元素的集合。

论文主要贡献如下：

  • 展示了GNN模型可达到与WL-test类似的图结构区分效果
  • 设计了聚合函数和Readout函数，使GNN能达到更好的区分效果
  • 发现GCN及GraphSAGE无法很好表达图结构，而GNN可以
  • 开发了简单的网络结构GIN（图同构网络），它的区分和表示能力与WL-test类似。

预备知识

图表征

论文主要关注两种任务：一种是对图中节点的分类，通过学习节点表示，以预测节点的类别；另一种是根据图结构分类，通过学习对整个图的表示，预测整图的类别。

这里涉及节点的表示和整图的表示。各节点往往通过它的邻居节点聚合计算，通过k轮迭代后，节点的表示隐式的包含了图的结构信息。GNN第k层计算方法如下：

其中a表示聚合节点v邻近特征的方法，h是特征向量。简单说就是先聚合节点v邻居节点上一层的表示，再与节点v自身上一层的表示相结合。

算法重点在于AGGREGATE和COMBINE的具体算法。比如AGGREGATE常使用乘参数再做池化的方法，而COMBINE常使用串联方法。

对于整图分类任务，使用READOUT函数来聚合节点特征最后一次迭代的结果，生成向量来表征整个图，聚合方法也是可简可繁。

WL-test

WL-test用于比较两图的拓扑结构是否相同。

原理如图所示：(a)对于图G与G’，其中每个节点属于某种元素（标签）一共五种元素；(b)利用其邻近节点的标签组合表示当前节点；©生成新标签；(d)用新标签表示节点；依照此逻辑不断迭代。最终生成右图中的特征向量用于表征图G和G’。颜色表示标签，数值表示该标签在图中的出现次数。当两图表征不一致时，则认为两图异构。

理论框架

如图-1所示，有一个图（左图），如果想表征其中的蓝色节点，且只考虑两跳；计算方法如中图所示（子树）; 通过迭代，变成了右图所示，每个节点只考虑其邻居，计算邻居时，再考虑邻居的邻居。

算法需要满足injective，injective可译为内射，即可把不同的元素映射成不同输出，在图结构中，不同的邻居结构需要生成不同的节点表征，而max，mean池化显然都不是injective的（后详述）。

建立强大的图神经网络

任何基于聚合的GNN最多与WL-test一样强大，我们要让GNN尽量逼近它，证明请见附录。

GNN公式如下：

其中f用于处理邻居节点，φ 用于内射。另外，readout也需要具有内射的性质。
除了区分不同的图之外，GNN相对于WL-test还有一个优势是它能将相似的图结构映射到相似的嵌入，并捕获图结构之间的依赖关系。而WL-test只是one-hot编码。

GIN网络

GIN网络，即图同构网络。为了在建模时实现内射，使用加和作为聚合函数，理论上多层感知机可以模拟函数的组合，用以下方法更新GIN的节点表示：

GIN的整图表征

整图分类任务，需要使用readout根据节点嵌入计算整图嵌入。计算方法如下：

用串联的方法连接了节点所有迭代步的表示，使用所有迭代是因为，随着迭代次数增加，节点能实现更加全局和精炼的表示，而早期迭代的结果则更容易泛化。

功能较弱的GNN

使用消融实验对比，展示上述公式的有效性。

单层感知机与多层感知机

单层感知机不能充分地捕获结构相似性，具体见实验结果。

平均池化和最大池化不能区分结构

平均池化和最大池化都不是内射的，如图-2，图-3 所示：

图-2展示了在多合集情况下，sum的效果最好，mean次之，max最差。

图-3中不同颜色表示不同实体，其中图2-a中两图结构不同，但平均池化和最大池化不能加以区分，而求和可以区分；图-2b中平均池化可区分两图，但最大池化取红与绿中最大值不能区分两图；同理，使用平均池化和最大池化也不能区分图-3c中的两个图。

平均池化学习分布

平均池化不能识别某一元素出现的次数，因此，它可以捕捉实体的特征分布，但不能精确描述多合集。平均池化比较适合只看有没有，不看有多少的任务，或者特征多，重复少的任务。

最大池化学习不同元素的集合

最大池化适合捕捉具有代表性的元素或“骨架”，而不是区分确切的结构或分布的任务。

其它池化方法

还有其它池化方法，如：加权平均，LSTM池化等，而对判断同构问题来说文中使用的求和方法具有足够的表征能力。

实验

数据集

实验使用了9个数据集，其中五个生物医疗，四个社会网络，主要以捕捉结构为主。

实验结果如图-4所示：

xieyan0811
关注
专栏目录
【图神经网络论文整理】（十）—— How Powerful are Graph Neural Networks?：GIN
CSDN 精品推荐
11-28 721
目前很多GNNs不断被提出，大多是采用邻居聚合和图级池化的方法，虽然这些GNN模型在节点分类、边预测和图分类等许多任务上都取得了不错的性能，但是新型的GNN的设计大多是基于经验直觉、启发式和实验试错，因此它们对GNNs的性质和局限性的理论认识较少，对GNNs表征能力的形式化分析有限。其中第一个式子就是聚合函数，用于集合给定节点的邻居的特征向量，第二个式子就是将第一步聚合后的特征向量与该中心节点的特征向量进行结合，用于更新中心节点的特征向量。上述的聚合操作采用的是最大池化，其中的。
图神经网络实战（12）——图同构网络(Graph Isomorphism Network, GIN)
盼小辉丶的博客
06-06 3186
图同构网络 (Graph Isomorphism Network, GIN) 架构受 WL 测试启发而设计的，其表达能力与 WL 测试相近，因此在严格意义上比 GCN、GAT 或 GraphSAGE 更具表达能力。在本节中，将这一架构用于图分类任务，介绍了将节点嵌入融合到图嵌入中的不同方法，GIN 通过连接求和运算符和每个 GIN 层产生图嵌入，其性能明显优于通过 GCN 层获得的经典全局均值池化。最后，我们将两个模型的预测结果进行简单的集成，从而进一步提高了准确率。
《GraphSNN: 超越WL同构图测试的图神经网络》论文解读
weixin_45156147的博客
04-13 813
来源：知乎—鱼wy 地址：https://zhuanlan.zhihu.com/p/435460527 论文：A New Perspective on “How Graph Neural Networks Go Beyond Weisfeiler-Lehman?” 链接：https://openreview.net/forum?id=uxgg9o7bI_3 （这篇论文摘自ICLR2022 open review 四个审稿人不约而同的给了8分，作者信息现在还是匿名状态不知道出自哪个大神之手） 正文 作者对设计
【GIN】
weixin_43327910的博客
10-30 6969
GIN
GNN图神经网络
m0_47163076的博客
10-23 140
CNN图神经网络 b站台大视频教程 视频中的截图
论文阅读_(GIN)How Powerful are Graph Neural Networks
Paranoid_99的博客
09-09 1058
1. 表明 GNN 在区分图结构方面最多与 WL 测试一样强大。 2. 建立了邻居聚合和图读出函数的条件，在这些条件下生成的 GNN 与 WL 测试一样强大。 3. 识别出流行的 GNN 变体无法区分的图结构，例如GCN和GraphSAGE，并且我们精确地表征了图结构的种类，例如基于GNN的模型可以捕捉。 4. 提出图同构网络（GIN），并表明它的判别/表示能力等于 WL test的能力。
论文总结 (二)：GIN用于CTR预测:Graph Intention Network for Click-through Rate Prediction in Sponsored Search
Nepenthe_V的博客
11-03 2164
一. 已有模型的缺点 以往的模型中用户的意图大都是根据其历史点击行为进行提取。会有以下缺点： 用户行为稀疏问题(behavior sparsity)：当用户行为稀疏时很难提取其实时意图。 弱泛化问题(weak generalization) ，用户很难跳出他们的特定历史行为来进行兴趣探索 二. GIN的创新点 提出基于共现商品图（co-occurrence commodity graph）的图意图网络（GIN）挖掘用户意图。 首次提出了对图学习和CTR预测任务的端到端赞助搜索模型。 通过采用多层图扩.
图神经网络实战（19）——异构图神经网络
盼小辉丶的博客
08-26 1133
异构图由不同类型的节点和边组成，可以表示实体之间的各种关系，这比单一类型的连接具有更高的表达能力。在本节中，我们将回顾关于同构图神经网络 (Graph Neural Networks, GNN) 与消息传递神经网络框架的相关概念，以扩展 GNN 架构适用于异构图。首先，我们将创建自定义异构数据集。然后，将同构架构转化为异构架构。
B.图算法：图学习之图神经网络GraphSAGE、GIN图采样算法[系列七]
丨汀、的博客
11-19 986
本项目主要讲解了GraphSage、PinSage、GIN算法的原理和实践，并在多个数据集上进行仿真实验，基于PGl实现原论文复现和对比，也从多个角度探讨当前算法的异同以及在工业落地的技巧等。
图神经网络有哪些用途,神经网络和图神经网络
aifamao3的博客
08-11 435
接下来就要进行仿真预测了t_1=sim(net,p)，net就是你建立的那个网络，p是输入数据，由于网络的权值已经确定了，我们这时候就不需要知道t的值了，也就是说不需要知道他是苹果还是橘子了，而t_1就是网络预测的数据，它可能是1或者是2，也有可能是1.3，2.2之类的数（绝大部分都是这种数），那么你就看这个数十接近1还是2了，如果是1.5，我们就认为他是苹果和橘子的杂交，呵呵，开玩笑的，遇到x=2.5，我一般都是舍弃的，表示未知。光电结合的神经计算机为人工神经网络的发展提供了良好条件。...
L2P-GNN:AAAI-2021论文“学习预训练图神经网络”的代码和数据集
05-08
学习预训练图神经网络 该存储库是AAAI-2021论文《的正式实施 要求 要安装要求： pip install -r requirements.txt 数据集 可以从以下链接下载所有必需的数据文件。 对于生物学数据集，请从和下载（提取代码：j97n...
【CS224W】(task9)图神经网络的表示能力(GIN图同构模型)
发现问题，并解决问题，批判性思维
03-04 2315
GIN图同构网络模型的构建 - 能实现判断图同构性的图神经网络需要满足，只在两个节点自身标签一样且它们的邻接节点一样时，图神经网络将这两个节点映射到相同的表征，即映射是单射性的。 - **可重复集合/多重集（Multisets）：元素可重复的集合，元素在集合中没有顺序关系** 。一个节点的所有邻接节点是一个可重复集合，一个节点可以有重复的邻接节点，邻接节点没有顺序关系。因此GIN模型中生成节点表征的方法遵循WL Test算法更新节点标签的过程。 **在生成节点的表征后仍需要执行图池化（或称为图读出）操作得
【intro】Graph Isomorphism Network（GIN）
Karen_Yu_的博客
05-09 2036
图神经网络(gnn)是一种有效的图表示学习框架。gnn采用邻域聚合方案，通过递归聚合和变换相邻节点的表示向量来计算节点的表示向量。已经提出了许多GNN变体，并在节点和图分类任务上取得了最先进的结果。然而，尽管gnn彻底改变了图表示学习，但人们对其表示特性和局限性的理解有限。->一个理论框架，用来分析GNN捕获不同图结构的能力。
How Powerful are Graph Neural Networks？ GIN 图同构网络 ICLR 2019 论文详解
热门推荐
知行合一，止于至善
10-31 2万+
文章目录1 相关介绍Definition 1 ：multiset数学上的单射（injective）2 GNN 怎么和 Weisfeiler-Lehman test 关联起来？2.1 符号定义2.2 Graph Neural Networks2.3 两类任务2.3 Weisfeiler-Lehman test 图同构测试3 WL test 是GNN性能的上限Lemma 24 什么样的GNN 可以和W...
图神经网络GNN学习笔记（4）：图同构网络GIN
软件工程小施同学 的专栏
06-05 422
原文：GIN: 如何设计最强大的图神经网络图神经网络（Graph Neural Networks，简称GNN）不仅仅局限于对节点进行分类，其中一个最受。
Graph Isomorphism Network(GIN)
weixin_65191557的博客
09-07 877
在本章中，我们提出了WL检验方法，它可以输出图的规范形式。该算法并不完美，但可以区分大多数图结构。它启发了GIN体系结构，设计成与WL测试一样具有表现力，因此严格来说比GCNs、GATs或GraphSAGE更具表现力。然后我们实现了这个架构用于图分类。我们看到了将节点嵌入组合成图嵌入的不同方法。GIN提供了一种新的技术，它结合了求和算子和每一层生成的图嵌入的连接。它明显优于GCN层获得的经典全局平均池化。最后，我们比较了两种模型的预测结果，并提出了进一步提高模型预测结果的可能方法。
GIN：图神经网络有多强大? HOW POWERFUL ARE GRAPH NEURALNET WORKS
tagagi的博客
11-28 7226
论文： HOW POWERFUL ARE GRAPH NEURALNET WORKS https://arxiv.org/abs/1810.00826v1 来源：ICLR 2019 代码： GitHub - weihua916/powerful-gnns: How Powerful are Graph Neural Networks? 内容：从理论上证明了邻域聚合（或称消息传递）的GNN变体的表达能力的严格上限（WL同构检验），同时设计了一个此框架下，最强大的GNN，即GIN 1 邻...
图神经网络与图同构测试
weixin_44370695的博客
08-10 930
图神经网络在很多任务上取得了非凡的成功，如： (1) Node Classification (2) Link Prediction (3) Graph Classification 图神经网络的表示能力究竟如何呢？例如，两个不一样的图，对于某个神经网络来说，是否足够可以区分呢？ 图神经网络的第kkk层为： 为了研究图神经网络的表达能力，需要一种叫multiset的东西，平常我们常说的集合是指不相同元素的聚集，但multiset却可以由重复的元素出现。 我们还需要Weisfeiler-Lehman图同构测
【深度学习】（8）--神经网络使用最优模型
最新发布
m0_74896766的博客
09-26 779
本篇介绍了： 如何使用保存好的最优模型 加载模型的两种方法：1.加载模型状态字典；2.加载整个模型实例 注意：两种方法都需要提前定义神经网络结构。
图神经网络经典模型GCN,GIN的优缺点
06-01
好的，我会为您总结一下图神经网络经典模型GCN和GIN的优缺点。 1. GCN（Graph Convolutional Network） 优点： - GCN具有良好的可解释性，可以方便地对每个节点的特征进行分析和解释。 - GCN具有较强的泛化能力，适用于不同类型的图结构。 - GCN在训练过程中，可以利用前一层节点的特征信息，即使当前层节点特征缺失也能够进行有效的预测。 缺点： - GCN对于大规模图结构的计算效率较低，需要对输入的图进行降维处理。 - GCN的局限性在于，只能考虑到节点之间的一阶邻近关系，无法处理更高阶的邻近关系。 2. GIN（Graph Isomorphism Network） 优点： - GIN考虑到了图结构的同构性，并且可以通过对节点特征的加权和操作，得到图的全局特征表示。 - GIN的计算效率较高，可以处理大规模的图结构。 - GIN的架构简单，易于实现和扩展。 缺点： - GIN的可解释性不如GCN，无法对节点特征进行解释和分析。 - GIN对于不同的图结构，需要重新训练模型，无法进行迁移学习。 以上就是图神经网络经典模型GCN和GIN的优缺点的总结。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值