CS224W 18.1-Limitations of Graph Neural Network

最新推荐文章于 2024-05-06 23:25:18 发布
最新推荐文章于 2024-05-06 23:25:18 发布
阅读量170 收藏 1
点赞数
文章标签： 机器学习 人工智能 java 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45519842/article/details/108470471
版权
这篇博客探讨了图神经网络（GNN）的局限性，包括在特定条件下无法区分不同的图结构以及对噪声的敏感性。尽管GNN在捕获图结构方面表现出色，但简化后的理论分析表明，它们可能无法在所有情况下区分图结构。文章通过实例分析了GCN和GIN等模型，并指出GIN通过单射的子树聚合实现了对图结构的精确区分，其能力接近图同构测试（WL test）。此外，还讨论了节点特征对GNN性能的影响。
摘要由CSDN通过智能技术生成

视频地址，课件和笔记可见官网。

前面一直在说GNN非常吊,效果非常好. GNN就没有缺点和局限?

这一节就聊聊GNN的局限

GNN的关键在于对图结构的捕获,也就是邻居的聚合. 但是,现存的GNN有两大缺点

  1. 但是在某些情况下, 不同的图结构,GNN可能无法区分(当然有些GNN是可以区分的). 注意,这里做了非常多的简化, 所有节点的特征认为都是一样的, 用黄色颜色表示.

这里就引发我们的思考了.(1)即使简化后的理论分析或者证明可以说明GNN的局限性.但是,我们在实际使用GNN的时候,节点的特征往往是不同的. 这时候,GNN能区别不同的图结构吗?? (2)任意图结构都不能区分吗? 这肯定是不可能的. 应该说GNN对某些图结构不可区分.  这里说的是在图非同构的的情况下,依然无法区分. 后面会详细介绍

2. 另一个就是不够鲁邦,容易收到噪音的影响. 至于Noise的话,引入邻居的权重聚合可以一定程度上解决,比如GAT.

-图同构测试 graph isomorphism test就是用来测试两个图的结构是否一样.

这是一个非常非常难的问题 NP-hard的

-那么,如果用GNN来做图同构测试可以吗?

-回顾下之前GNN的聚合过程,可以展开成一个子树结构,按层来聚合.

根据展开后的邻居子树的不同, GNN可以把不同的节点映射为不同的表示.

-两个子树结构的例子

最低0.47元/天 解锁文章
weixin_45519842
关注
9 | Spatial-based GNN/convolution模型之GIN
SimonChen
07-09 548
GIN (Graph Isomorphism Network) 上面图的红色字说mean pooling分辨不出来，其实是mean pooling和max pooling都分辨不出，具体的其他内容看图就知道了。 为什么是sum pooling？
cs224w 图神经网络 学习笔记（十八/十九）Limitations of Graph Neural Networks & Applications of Graph Neural Networks
喵木木的博客
12-08 1184
课程链接：CS224W: Machine Learning with Graphs 课程视频：【课程】斯坦福 CS224W: 图机器学习 (2019 秋 | 英字) 目录1. 前言2. Limitations of conventional GNNs in capturing graph structure3. Vulnerability of GNNs to noise in graph data4. Open questions & Future direction 1. 前言 IDEA:.
图神经网络（9）- GNNs的理论理解
qq_44689178的博客
03-13 1971
GNN如何很好的区分不同的图?? 常用GNN模型的表达能力（区分不同图的能力） 怎么设计表达能力最强的GNN模型?
图卷积网络中的GCN和GIN学习
porwyy的博客
09-27 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 卷积神经网络具有平移不变性，而图网络不具有该性质，因此不能直接做卷积操作。 传统的卷积神经网络通过卷积核实现参数共享，且参数的数量由卷积核的大小决定，而图网络无法直接进行卷积，则不能实现参数共享，其参数个数与图像的像素矩阵保持一致。 其次卷积神经网络还具有局部连接性，从而使得每次计算只需要在一个卷积核大小的..
GIN：图神经网络有多强大? HOW POWERFUL ARE GRAPH NEURALNET WORKS
tagagi的博客
11-28 7354
论文： HOW POWERFUL ARE GRAPH NEURALNET WORKS https://arxiv.org/abs/1810.00826v1 来源：ICLR 2019 代码： GitHub - weihua916/powerful-gnns: How Powerful are Graph Neural Networks? 内容：从理论上证明了邻域聚合（或称消息传递）的GNN变体的表达能力的严格上限（WL同构检验），同时设计了一个此框架下，最强大的GNN，即GIN 1 邻...
【GNN】第八章 基于GIN的图表征学习
m0_59247846的博客
07-05 6531
本文参考自datawhale2021.6学习：图神经网络 【GNN】第一章 图论基础 【GNN】第二章 PyG中的图与图数据集 【GNN】第三章 消息传递范式与PyG的MessagePassing基类 【GNN】第四章 节点表征学习与节点分类任务（理论+调包实操） 【GNN】第五章 构造数据完全存于内存的数据集类InMemoryDataset 【GNN】第六章 边预测任务 本章目录前言1 WL-test1.1 同构图 Graph Isomorphism1.2 多重集 Multiset1.3 1-dimens
【论文导读】- Federated Graph Neural Networks Overview, Techniques and Challenges（联邦图神经网络：概述、技术和挑战(2)
最新发布
2401_84181108的博客
05-06 547
图神经网络( GNNs )凭借其强大的处理实际应用中广泛存在的图数据的能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNNs面临着适应这种新常态的需要。这导致了近年来联邦图神经网络( FedGNNs )研究的快速发展。虽然前景广阔，但这一跨学科领域感兴趣的研究者来说是极具挑战性的。对这一领域缺乏深入的调查只会加剧这一问题。在本文中，我们通过提供对这一新兴领域的全面调查来弥补这一差距。
Introduction to Graph Neural Network（图神经网络概论）翻译：Chapter4：Vanilla Graph Neural Networks
Melvin Dong的博客
09-05 863
文章目录4、Vanilla Graph Neural Networks（原始图神经网络）4.1、 Introduction4.2 Model4.3 Limitations 4、Vanilla Graph Neural Networks（原始图神经网络） 在本节中，我们描述了Scarselli et al. [2009] 文章中提出的Vanilla GNN。此外，我们同时列出了Vanilla GNN在表示能力和训练效率方面的局限性。在本章之后，我们将讨论Vanilla GNN的集中变体。 4.1、 Intro
图机器学习峰会-Beyond Homophily in Graph Neural Networks
07-05
在他们的论文“Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs”中，他们讨论了GNNs在处理异质性图时的局限性，并提出了一些有效的设计策略，旨在提高模型对不同类型连接的...
图神经网络（Graph neural networks）综述
m0_38031488的博客
03-12 5万+
论文链接：Graph Neural Networks:A Review of Methods and Applications Abstract：图（Graph）数据包含着十分丰富的关系型信息。从文本、图像这些非结构化数据中进行推理学习，例如句子的依赖树、图像的场景图等，都需要图推理模型。图网络（Graph neural networks）是一种链接主义模型，它靠图中节点之间的信息传递来捕捉图...
带你读论文：分子图表示学习
deep_revealer的博客
12-07 1705
论文：《Hierarchical Inter-Message Passing for Learning on Molecular Graphs》 背景介绍： 分子图表示学习：一般来说，我们所使用的一些方法是对一个图中的结点或者边进行表示学习，学习出他的embedding，而分子图表示学习是指学习出一整个分子图的embedding。 分子图表示学习的意义： 1.对于分子特征或者功能学习有重要意义 2.对于我们当前的一些任务，使用SMILES等方式来表示分子结构或者序列，丢失信息较多，有时SMILES等特征发
DataWhale图网络学习（八）图预测任务实践
快乐星球小怪兽的博客
07-08 536
DataWhale图网络学习（七）超大规模数据集类的创建1 1
【文献笔记】How powerful are graph neural networks?
sinat_33365106的博客
02-05 247
Abstract (1) What do the author(s) want to know (motivation)? (2) What did they do (approach/methods)? (3) Why was it done that way (context within the field)? (4) What do the results show (figures and data tables)? (5) How did the author(s) interpret the
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5468
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
图神经网络将成AI下一拐点！MIT斯坦福一文综述GNN到底有多强
cpongo011702
06-10 1026
深度学习在图像分类，机器翻译等领域都展示了其强大的能力，但是在因果推理方面，深度学习依然是短板，图神经网络在因果推理方面有巨大的潜力，有望成为AI的下一个拐点。DeepMind 公司最近开源了其GraphNet算法库，各大巨头公司也纷纷投入大量资源研究图神经网络，本文是AI前线第68篇论文导读，下面我们来深入了解图神经网络背后的原理和其强大的表征能力。摘要图神经网络（GNNs）广泛应用于图的表征学...
李宏毅机器学习|图神经网络Graph Nerual Networks(GNN)|学习笔记
qq_39923466的博客
09-05 2762
文章目录前言1 Introduction2 使用步骤1.引入库2.读入数据总结 前言 最近看的论文里面主要是就是图神经网络Graph Nerual Networks，然后就来学习下李宏毅机器学习中的图神经网络的内容，记个笔记。 1 Introduction GNN简单来说就是Graph + Nerual Networks,关键问题就是将图的结构和图中每个节点和边的特征转化为一般的神经网络的输入（张量）。 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 2 使用
GNN Pooling(八)：STRUCTPOOL via CRF，ICLR2020
qq_36618444的博客
07-30 935
目录图模型三个马尔科夫性联合概率分布CRFReferences 本文的作者来自Texas A&M University。大多数现有的图池技术没有显式地考虑图的结构信息，本文将图池看作是一个节点聚类问题，需要学习一个聚类分配矩阵。我们建议将其表示为一个结构化预测问题，并使用条件随机场来捕获不同节点分配之间的关系。使用CRF的直觉是这样的：给定节点的分配应该依赖于输入节点特性和其他节点的分配，而CRF正是通过无向图模型捕获不同节点分配之间的这种高阶结构关系。 话说我一直傻傻分不太清楚无向图有向图概率图这
几种图神经网络方法总结（Graph Neural Network）
热门推荐
图灵是我
03-08 7万+
概要 今年来图神经网络受到大家越来越多的关注，在文本分类(Text classification)，序列标注（Sequence labeling）, 神经机器翻译（Neural machine translation）,关系抽取（Relation extraction），事件抽取（Event extraction）, 图像分类（Image Classification），视觉推理（Visual R...
【GNN】WL-test：GNN 的性能上界
阿泽的学习笔记
06-09 7600
今天学习斯坦福大学同学 2019 年的工作《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》，这也是 Jure Leskovec 的另一大作。 我们知道 GNN 目前主流的做法都是通过迭代地对邻居进行聚合（aggreating）和转换（transforming）来更新节点的表示向量。而在这篇文章中，本文作者提出了一个可以用于分析 GNN 能力的理论框架，通过对目前比较流行的 GNN 变体（如 GCN、GraphSAGE 等）进行分析，其结果表明目前的 GNN 变体甚至无法区分
the limitations of deep learning in adversarial settings
03-16
深度学习在对抗性环境中的局限性包括以下几个方面： 1. 对抗性样本的生成：深度学习模型容易受到对抗性样本的攻击，这些样本是经过特定的修改，以欺骗模型的方式来误导其预测结果。这些攻击可能会导致模型的性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值