GGNN：GATED GRAPH SEQUENCE NEURAL NETWORKS

已于 2022-02-24 16:16:14 修改
阅读量2.1k 收藏 4
点赞数 1
分类专栏： 深度学习 文章标签： GNN
于 2022-02-24 11:51:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ResumeProject/article/details/123107093
版权

论文

相较于之前的文章，模型最大的修改即为，使用门控循环单元并且将网络的展开循环控制在一个固定的次数。

一个可达模型：

例如网络需要在给定一个图的情况下，判断节点s是否可达节点t:
       模型初始化:
设 定 N o d e A n n o t a t i o n s { x s = [ 1 , 0 ] T x t = [ 0 , 1 ] T x v = [ 0 , 0 ] T ( v ≠ s   o r   t ) 每 个 节 点 h v = [ x v , 0 ] 即 将 n o d e   a n n o t a t i o n 填 充 后 ， 将 剩 余 部 分 全 部 设 置 为 0 设定Node Annotations\left\{\begin{array}{l} x_s=[1,0]^T\\ x_t=[0,1]^T\\ x_v=[0,0]^T(v\neq s \ or \ t )\end{array}\right.\\ 每个节点h_v=[x_v,0]即将node \ annotation 填充后，将剩余部分全部设置为0 设定NodeAnnotations⎩⎨⎧​xs​=[1,0]Txt​=[0,1]Txv​=[0,0]T(v​=s or t)​每个节点hv​=[xv​,0]即将node annotation填充后，将剩余部分全部设置为0

       在计算时只需输入s节点的表示作为第一个参数，t的表示为第二个参数，使得传播矩阵在(0,0)位置的值为1即可
       由此，在此模型中我们将节点标签作为附加输入。

GGNN

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

A ∈ R D ∣ V ∣ × 2 D ∣ V ∣ A ∈ R^{D|V|×2D|V|} A∈RD∣V∣×2D∣V∣
A v : ∈ R D ∣ V ∣ × 2 D ： v 在 A 对 应 的 两 列 A_{v:} ∈ R^{D|V|×2D}：v在A对应的两列 Av:​∈RD∣V∣×2D：v在A对应的两列
a v ( t ) ∈ R 2 D a^{(t)}_v ∈ R^{2D} av(t)​∈R2D包含从两个方向的边激活
等 式 1 是 隐 藏 节 点 的 表 示 。 等 式 2 是 通 过 输 入 和 输 出 边 在 图 的 不 同 节 点 之 间 传 递 信 息 的 步 骤 ， 参 数 取 决 于 边 的 类 型 和 方 向 。 等式1是隐藏节点的表示。\\ 等式2是通过输入和输出边在图的不同节点之间传递信息的步骤，参数取决于边的类型和方向。 等式1是隐藏节点的表示。等式2是通过输入和输出边在图的不同节点之间传递信息的步骤，参数取决于边的类型和方向。

其 中 ： σ ( x ) = 1 / ( 1 + e − x )   l o g i s t i c   s i g m o i d   f u n c t i o n , ⊙   e l e m e n t − w i s e 乘 法 \color{red} \tiny 其中：σ(x) = 1/(1 + e−x) \ logistic \ sigmoid \ function, \odot \ element-wise乘法 其中：σ(x)=1/(1+e−x) logistic sigmoid function,⊙ element−wise乘法

我们最初尝试了一种普通的递归神经网络风格的更新，但在初步实验中，论文发现这种类似GRU的传播步骤更有效。

输出

对于每个节点的输出仍然可以使用函数 o v = g ( h v ( T ) , x v ) o_v=g(h_v^{(T)},x_v) ov​=g(hv(T)​,xv​)

对于graph-level的输出可以使用以下方法：

在这里插入图片描述
官方实现
github
github

图神经网络（二十八）GATED GRAPH SEQUENCE NEURAL NETWORKS
码匀的博客
04-12 1281
本文收录于ICLR2016，作者来自于多伦多大学，文章比较老了，但是很经典。GGNN是一种基于GRU的经典空域模型，一个基本的感觉就是GNN+Gate。 本文GRU非常像，因此在说本文之前，先介绍一下RNN内容： RNN 关于RNN、LSTM的知识可以看李宏毅老师的课程，讲的非常好，传送门，这里只简单概括一下。首先介绍一下最简单的RNN模型： 上图中的黄色的xxx是我们的输入数据，绿色的可以当做是一个内存块，初始时必须赋一个值，例如000，蓝色的a1a^1a1是将xxx的输出存入内存中的数值，橙色的yy
GATED GRAPH NEURAL NETWORKS（GGNN）
qq_45312141的博客
06-05 3076
这里写目录标题GG-NNGGS-NNs GG-NN GGNN网络使用了GRU（Gate Recurrent Units），在固定的 T 时间步中展开RNN，并使用BPTT算法（Back Propagation Through Time）以计算梯度。 补充： GGNN并不能保证图的最终状态会到达不动点。由于更新次数 T 变成了固定值，因此GGNN可以直接使用BPTT算法来进行梯度的计算。相比于一般的GNN使用Almeida-Pineda算法需要更多的内存，但是不需要约束参数以满足压缩映射（contractio
【笔记】GATED GRAPH SEQUENCE NEURAL NETWORKS
Jason, Xu的博客
03-09 4650
“Gated Graph Sequence Neural Networks“论文笔记
GGNN(Gated Graph Sequence Neural Networks)
BUPT-WT的博客
02-10 6395
GGNN研究意义: 1、提升在图结构中长期的信息传播 2、消息传播中使用GRU，使用固定数量的步骤T，递归循环得到节点表征 3、边的类型，方向敏感的神经网络参数设计 4、多类应用问题，展示了图神经网络更多的应用以及强大的表征能力 本文主要结构如下所示: 一、Abstract 本文提出使用GRU来更新图的节点信息，在一些数据任务上验证了模型的有效性 二、Introduction 对图神经网络进行扩展，解决序列输出任务，提出GGS-NNS模型 三、...
Gated Graph Sequence Neural Networks
Milkha的博客
12-28 1776
文章目录1. 前言2. GG-NN3. GGS-NNReferences 论文地址：https://arxiv.org/abs/1511.05493 源码地址：ggnn slides：ggnn-talk 关键词：RNN, Graph Sequential tasks 1. 前言 这篇论文提出了一种基于GRU1的GNN，能够进行输出单个值的任务（如结点分类、图分类等），也能完成序列输出的任务（如最短路、欧拉环等）。论文中使用bAbI2（bAbI是Facebook AI推出的文本理解/推理任务生成器）任务和
Graph-to-Sequence Learning using Gated Graph Neural Networks
土豆面炸鸡饭
10-13 4799
                                                                           基于门控图网络的图到序列学习                                                                                                   摘要       ...
Python-GatedGraphSequenceNeuralNetworksGGNN的PyTorch实现
08-11
**Python-Gated Graph Sequence Neural Networks (GGNN)的PyTorch实现** 在当前的机器学习领域，图神经网络（GNNs）已经成为处理非结构化数据，如社交网络、分子结构和知识图谱等的强大工具。Gated Graph Sequence ...
GATED GRAPH SEQUENCE NEURAL NETWORKS
03-03
Graph-structured data appears frequently in domains including chemistry, natural language semantics, social networks, and knowledge bases. In this work, we study feature learning techniques for graph-structured inputs. Our starting point is previous work on Graph Neural Networks (Scarselli et al., 2009), which we modify to use gated recurrent units and modern optimization techniques and then extend to output sequences. The result is a flexible and broadly useful class of neural network models that has favorable inductive biases relative to purely sequence-based models (e.g., LSTMs) when the problem is graph-structured. We demonstrate the capabilities on some simple AI (bAbI) and graph algorithm learning tasks. We then show it achieves state-of-the-art performance on a problem from program verification, in which subgraphs need to be described as abstract data structures.
门控图神经网络（GGNN）及代码分析
Orangetc的博客
04-22 1万+
门控图神经网络GGNN及代码分析 基本概念 GGNN是一种基于GRU的经典的空间域message passing的模型 问题描述 一个图 G = (V, E)， 节点v ∈ V中存储D维向量，边e ∈ E中存储D × D维矩阵， 目的是构建网络GGNN。 实现每一次参数更新时，每个节点既接受相邻节点的信息，又向相邻节点发送信息。 主要贡献 基于GRU提出了GGNN，利用RNN类似原理实现了信息在graph中的传递。 传播模型 输出模型 来源论文 Gated Graph Sequence Neural
Graph-to-Sequence Learning using Gated Graph Neural Networks读书笔记
sjh18813050566的专栏
01-25 1206
发表于ACL2018 很多NLP问题可以建模为Graph-to-Sequence问题。 存在的问题：     之前方法有两种：grammar-based和seq2seq方法。grammar-based方法需要graph结点和字符token的对齐，seq2seq方法直接忽略了结构信息。     采用的方法：     本文利用Gated Graph Neural Networks(GGNN...
ggnn.tensorflow:选通图神经网络的Tensorflow实现用于源代码分类-tensorflow source code
03-24
门控图神经网络（GGNN）的Tensorflow实现，用于源代码分类 这是门控图神经网络（GGNN）的Tensorflow实现，如Y. Li，D.Tarlow，M.Brockschmidt和R.Zemel在论文《 ）中所述。 缩短培训时间并加快收敛速度​​的技巧： 存储桶：将具有相似大小的批处理图放在一起，而不是随机混洗和批处理。 对于小图，请使用密集图表示；对于大图，请使用稀疏图表示。 我们根据的论文的详细信息，将文件解析为图形表示形式。 有关为方法名称预测实现的版本，请参阅此存储库： : 什么是GGNN？ 解决图结构化数据和问题 门控传播模型（与GRU相同的想法），用于计算节点表示形式 展开固定步骤的重复周期，并在整个时间范围内使用反向传播 任务 代码分类 排序算法（SA数据集）：从Github收集的10个排序问题，包括：插入排序，合并排序，拓扑排序，堆排序，冒泡排序，
门控图序列神经网络
酒柜担保人的博客
03-28 1205
论文：Li, Yujia, etal. Gated Graph Sequence Neural Networks[J]. Computer Science, 2015. Contribution Our main contribution is an extension of Graph Neural Networks that outputs sequences.(扩展了输出序列的图神经网络...
《GATED GRAPH SEQUENCE NEURAL NETWORKS》结合代码的论文阅读笔记
duyue3052的博客
09-11 6844
通过这篇文章，学习GNN实现细节，确定用在手部图像上的可行性，初步确定实现方案。 文章及代码链接：https://github.com/Microsoft/gated-graph-neural-network-samples 论文初步阅读 1:GG-NNs计算过程 2:GGS-NNs计算流程 结合代码深入理解 1：加载数据 2：创建计算图 2.1：prepare_specific_...
论文笔记：GGNN (门控图神经网络)
热门推荐
一个小彩笔
04-13 3万+
基本概念 GGNN是一种基于GRU的经典的空间域message passing的模型 问题描述 一个图 G = (V, E)， 节点v ∈ V中存储D维向量，边e ∈ E中存储D × D维矩阵， 目的是构建网络GGNN。 实现每一次参数更新时，每个节点既接受相邻节点的信息，又向相邻节点发送信息。 主要贡献 基于GRU提出了GGNN，利用RNN类似原理实现了信息在graph中的传递。 传播模型 ...
Gated Graph Sequence Neural Networks 项目推荐
最新发布
gitblog_01030的博客
12-24 327
Gated Graph Sequence Neural Networks 项目推荐 ggnn Gated Graph Sequence Neural Networks 项目地址: https://gitcode.com/gh_mi...
三种图神经网络（GGNN GCN GAT）关于入侵检测系统的应用
qq_61879501的博客
03-06 4448
三种图神经网络的简单介绍
从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型（人工智能神经网络模型看这篇就够了）
iFlyAI的博客
10-12 1163
摘要:最早的GNN主要解决的还是如分子结构分类等严格意义上的图论问题。但实际上欧式空间(比如像图像 Image)或者是序列(比如像文本 Text)，许多常见场景也都可以转换成图(Graph)，然后就能使用图神经网络技术来建模。2009 ... 人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型...
推荐开源项目：GGNN——基于图的GPU最近邻搜索
gitblog_00067的博客
06-16 450
推荐开源项目：GGNN——基于图的GPU最近邻搜索 ggnnGGNN: State of the Art Graph-based GPU Nearest Neighbor Search项目地址:https://gitcode.com/gh_mirrors/ggn/ggnn 1、项目介绍 GGNN（Graph-based GPU Nearest Neighbor Search）是一个创新性的开源项...
阿里团队力作，门控图神经网络（GGNN）用于NER
王不二的AI之路
12-11 1123
论文中作者认为，NER任务本质上是一个知识密集型任务，将实体名录信息融入模型，不仅能够提高识别准确度，还能够处理罕见、未见的情况。但是中文分词不是自然分词，容易引起歧义，尤其是涉及多个实体名录的时候。为了解决歧义问题，很多论文中都是通过人工制定特定场景下的规则来满足，比如 **N-gram**，而作者则是希望使用数据驱动的方式，通过图神经网络让模型学习到实体名录知识，并结合上下文信息来解决歧义问题。
PyTorch实现GGNN深度学习模型详解
在解析给定文件信息之前，需要先了解Gated Graph Sequence Neural Networks（GGNN）是什么，以及它们在PyTorch中的实现方式。本节内容将详细探讨这些知识点。 ### GGNN基本概念 GGNN是图神经网络（Graph Neural ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值