图神经网络模型—PATCHY-SAN的基本思想与流程

已于 2022-04-10 14:21:42 修改
阅读量1.4k 收藏 3
点赞数 2
分类专栏： 图神经网络 文章标签： 深度学习 神经网络 机器学习 数据挖掘
于 2021-05-06 10:41:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44027006/article/details/116446304
版权

PATCHY-SAN方法阅读笔记

1 将CNN应用到图结构数据时面临的问题：

  1. 感受野不同：
    在处理图像问题时，卷积神经网络利用固定大小Kernel提取图像的特征，见下图
    图1 对于普通图像的卷积操作
    当面对图结构数据时，由于网络中各节点的一阶邻居数是不同的，如果仍然使用固定大小的kernel是不可行的，因为卷积核的感受野会是不同的。那么在提取邻域的时候，是否可以对邻域进行削减或padding，使得卷积操作可行（注：不是网络中所有的节点都做为中心节点进行卷积神经网络的操作，而是根据一个函数对节点先进行排序，然后根据步长选取前 w w w个节点做为中心节点）。

  2. 将CNN用到图结构数据时，图的节点缺乏顺序

最低0.47元/天 解锁文章
GNN-图卷积模型-2016：PATCHY-SAN【图结构序列化：将图结构转换成了序列结构，然后直接利用卷积神经网络在转化成的序列结构上做卷积】
u013250861的博客
11-16 1119
我们之前曾提到卷积神经网络不能应用在图结构上是因为图是非欧式空间，所以大部分算法都沿着找到适用于图的卷积核这个思路来走。 而 PATCHY-SAN 算法 《Learning Convolutional Neural Networks for Graphs》 另辟蹊径，它将图结构转换成了序列结构，然后直接利用卷积神经网络在转化成的序列结构上做卷积。 由于 PATCHY-SAN在其论文中主要用于图的分类任务，我们下面的计算过程也主要针对图分类问题(例如，判断某个社群的职业)。 那么，图结构转换成序列结构最主要的
图嵌入/图神经网络模型整理归类
Junhao_Lu的博客
10-30 2888
模型整理归类 图卷积的模型overview 这里wuzonghan等人将图神经网络分为图卷积网络、图注意网络、图自动编码器、图生成网络和图时空网络。其中，图卷积网络在捕获结构依赖项方面起着核心作用。如上图所示，其他类别的方法部分使用图卷积网络作为构建块。我们总结了表2中每个类别的代表性方法，并给每个类别做了简要介绍。 ...
PATCHY-SAN - Learning Convolutional Neural Networks for Graphs ICML
知行合一，止于至善
01-07 1359
文章目录1 背景2 PATCHY-SAN模型Node Sequence Selection - 根据节点排序选择要进行卷积的节点Neighborhood Assembly - 找到Node的领域，确定感受野Graph Normalization - 图规范化过程Convolutional Architecture - 卷积网络结构3 实验4 小结 论文：Learning Convolutional Neural Networks for Graphs 作者：Mathias Niepert, Mohamed
SaNN：简单而强大的简形意识神经网络
最新发布
步子哥的博客
08-24 1095
在这一背景下，Gurugubelli 和 Chepuri 提出了一个新的模型——简单而强大的简形意识神经网络（SaNN），该模型能够在不显著增加计算和内存需求的情况下，进行高效的图表示学习。SaNN的提出为高阶图结构的学习提供了一种新的思路，通过预聚合特征和简化计算过程，研究者能够在不牺牲性能的情况下提升模型的效率。在简形闭合预测任务中，SaNN在处理大规模数据集时展现出显著的内存效率，能够处理包含大量简形的复杂数据，而现有的SNN模型则由于内存限制而无法运行。
探索图神经网络新境界：Spectral Attention Networks (SAN)深度解析与应用推荐
gitblog_00072的博客
06-15 975
探索图神经网络新境界：Spectral Attention Networks (SAN)深度解析与应用推荐 SAN项目地址:https://gitcode.com/gh_mirrors/san2/SAN 在现代数据处理的浪潮中，图神经网络（GNN）正以前所未有的速度革新我们理解和预测复杂网络结构的能力。今天，我们要聚焦一个引领风骚的项目——Spectral Attention Networks...
图神经网络论文阅读(二) Learning Convolutional Neural Networks for Graphs：ICML2016
qq_36618444的博客
01-09 816
# Learning Convolutional Neural Networks for Graphs 本文的三位作者都来自德国Heidelberg的NEC Labs Europe，文章提出了一种从图数据中提取局部连接区域的通用方法（PATCHY-SAN），用来解决图神经网络中的经典问题：如何在大规模的图上应用卷积？如何将卷积操作泛化到任意结构的图？通过实验证明了算法的有效性，并且模型的计算是高效...
从图嵌入算法到图神经网络
luv_dusk 的博客
08-13 1万+
近几年来，伴随着计算机算力的急剧提升，神经网络从历史的尘埃中走出，横扫各大领域，完成一次次颠覆性的创新。依托高度弹性的参数结构，线性与非线性的矩阵变换，神经网络能适用于各式各样的数学场景，在各个类别的应用上我们都能看到神经网络的影子。其中著名的应用方向，包括自然语言处理、计算机视觉、机器学习、生物医疗、推荐系统、自动驾驶等等。图神经网络，广泛应用于社交关系、知识图谱、推荐系统、蛋白质分子建模，同样源自于对传统领域的创新，它的前身是图嵌入算法；而图嵌入算法又以图数据作为载体。这一关系，将贯穿本文始末，成为我们
图神经网络：方法与应用 | 一文展望，四大待解问题
BAAIBeijing的博客
08-19 2210
在 AI Open 杂志 2020 年第一卷中，清华大学周杰等人发表了综述性论文《Graph neural networks: A review of methods and applic...
图卷积Graph Convolutional Networks
热门推荐
lemontree的博客
07-18 2万+
CNN已经在计算机视觉（CV）以及自然语言处理等领域取得了非常好的水平，其中的数据可以被称作是一种Euclidean Data，CNN正好能够高效的处理这种数据结构，探索出其中所存在的特征表示。所谓的欧氏（欧几里德）数据指的是类似于grids, sequences… 这样的数据，例如图像就可以看作是2D的grid数据，语音信号就可以看作是1D的grid数据。但是现实的处理问题当中还存在大量的 No...
从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二)
weixin_30745553的博客
06-09 582
本文属于图神经网络的系列文章，文章目录如下： 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (一) 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二) 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (三) 在上一篇博客中，我们简单介绍了基于循环图神经网络的两种重要模型，在...
图神经网络（GNN）总结
I‘m Frank Lee
07-09 1万+
1 简单的图的参数介绍 G=(V,E,A)\mathcal { G } = ( V , E , A )G=(V,E,A) V(N个)是节点集合, 只描述了存在的节点 E是边集合, 只描述了存在的连接(边) A(NxN)是图的邻接矩阵, 描述了节点之间的连接关系, 当对应的边eij(连接vi,vj的边)存在的时候, 则对应的Aij = wij> 0, 若eij不存在, 则Aij = 0 D(...
图神经网络概述第三弹：来自IEEE Fellow的GNN综述
weixin_33845881的博客
01-07 3522
图神经网络（GNN）热度持续上升，之前我们曾介绍了清华两篇综述论文，参见：深度学习时代的图模型，清华发文综述图网络，和清华大学图神经网络综述：模型与应用。最近，IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一篇图神经网络综述文章。这篇文章介绍了 GNN 的背景知识、发展历史、分类与框架、应用等，详细介绍了各种模型与方法，包括公式、模型图示、...
图卷积神经网络发展
二十年蝉电子学习博客
12-21 1418
这个更新公式表达的思想自然又贴切：不断地利用当前时刻邻居结点的隐藏状态作为部分输入来生成下一时刻中心结点的隐藏状态，直到每个结点的隐藏状态变化幅度很小，整个图的信息流动趋于平稳。GNN的学习目标是获得每个结点的图感知的隐藏状态 ℎv(state embedding)，这就意味着：对于每个节点，它的隐藏状态包含了来自邻居节点的信息。压缩映射就是指，经过 F变换后的新空间一定比原先的空间要小，原先的空间被压缩了。公式中的𝐱𝑐𝑜[𝑣]指的是与结点v相邻的边的特征，𝐱𝑛𝑒[𝑣]指的是结点v的邻居结点的特征，
深度卷积神经网络中的patch
qq_38331273的博客
12-09 6638
转载： 在阅读基于深度卷积神经网络的图像识别、分类或检测的文献时经常看到“patch”，不是很能理解，后来就总结了一下。 通过阅读，“patch”似乎是CNN输入图像的其中一小块，但它究竟是什么呢?当使用CNN解决问题时，“patch”什么时候开始起作用?为什么我们需要“patch”? “patch”和内核(即特征检测器)之间有什么关系? 在CNN学习训练过程中，不是一次来处理一整张图片，而是先将图片划分为多个小的块，内核 kernel (或过滤器或特征检测器)每次只查看图像的一个块，这一个小块.
《人工智能杂记》神经网络架构发展史（CNN）
不问归期的博客
07-06 9738
笔者主要从事图像的识别与分类研究，在这里笔者值探讨卷积神经的发展史。 1.BP 1985年，Rumelhart和Hinton等人提出了后向传播（Back Propagation，BP）算法（也有说1986年的，指的是他们另一篇paper：Learning representations by back-propagating errors)，使得神经网络的训练变得简单可行，这篇文章在Goo...
7篇最新Nature. Mach. Intell.图神经网络论文汇集
数据派THU
04-12 1518
来源：专知 本文约1800字，建议阅读7分钟 本文与你分享图神经网络的相关论文及科学应用。随着该领域的成熟，图神经网络论文的数量也在增长，作者仔细研究了一些科学应用，并收集了几篇发表在Nature上的GNN论文。我们周围的很多信息都可以用图表来表示。一个例子是城市道路网络，其中交叉口是节点，道路是链接。另一个是调控网络，它描述了不同基因如何相互作用以增强或抑制某些细胞功能...
ICML 2020 | 4 篇图卷积网络相关论文
weixin_45519842的博客
07-17 1601
本文介绍 ICML2020 中 4 篇与图卷积网络相关的论文。论文亮点1. 自监督何时有助于图卷积网络？首次将自监督纳入 GCNs 的系统探索和评估2. 用于图结构数据的卷积核网络引入了...
浅析图卷积神经网络
geek_wh2016的博客
05-21 1万+
今天想和大家分享的是图卷积神经网络。随着人工智能发展，很多人都听说过机器学习、深度学习、卷积神经网络这些概念。但图卷积神经网络，却不多人提起。那什么是图卷积神经网络呢？简单的来说就是其研究的对象是图数据（Graph），研究的模型是卷积神经网络。为什么有图卷积神经网络自2012年以来，深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。和传统方法相比，它好在哪里呢？假设有一张图，要做分类，...
图神经网络详解：从GCN到GWNN
"这篇文档是关于图神经网络的综合概述，涵盖了从图神经网络的基本概念到不同代别的图卷积神经网络（GCN）的发展，包括它们的优势、局限性和改进策略。文中还提到了图小波神经网络（GWNN）以及基于空间域的图卷积方法...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值