《GATED GRAPH SEQUENCE NEURAL NETWORKS》结合代码的论文阅读笔记

最新推荐文章于 2024-04-18 10:00:57 发布
最新推荐文章于 2024-04-18 10:00:57 发布
阅读量6.7k 收藏 28
点赞数 4
分类专栏： GNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duyue3052/article/details/82625431
版权
本文是关于Gated Graph Sequence Neural Networks（GGS-NNs）的论文阅读笔记，结合Microsoft Research的实现代码进行深入理解。文章介绍了GG-NNs的计算过程和GGS-NNs的计算流程，并详细解析了数据加载、计算图创建，特别是节点状态更新和损失计算的过程。
摘要由CSDN通过智能技术生成

通过这篇文章，学习GNN实现细节，确定用在手部图像上的可行性，初步确定实现方案。

文章及代码链接：https://github.com/Microsoft/gated-graph-neural-network-samples

论文初步阅读

1:GG-NNs计算过程

2:GGS-NNs计算流程

结合代码深入理解

1：加载数据

2：创建计算图

2.1：prepare_specific_graph_model

2.2：final_node_representations

        2.2.1：获取图

        2.2.2：对于每个时间步长，更新cur_node_states

2.3：计算loss:

       2.3.1：对每个task，计算gated_regression

       2.3.2：把每个图中所有的点求个和得到一个图的输出结果——computed_values（float）

       2.3.3：Mask out unused values

 

论文初步阅读

这是Microsoft Research2016年发表于ICLR的文章，作者是Yujia Li

图的特征学习包括两个步骤：输入图的表达和中间环节的特征聚合。在图的表达上，本文沿用2009年的 Scarselli的工作，我们在它上面融入了RNN的思想。 后续特征聚合十分重要我们引入了GGS-NNs。

1:GG-NNs计算过程

可以用6个公式表达

  1. initialization

  2. imformation pass

  3. update gate

  4. reset gate

  5. activate

  6. activate

  7. output

2:GGS-NNs计算流程

用了两个 GG-NNs： Fo(k) 和 FX(k)。 Fo(k) for predicting o(k) from X(k), and FX(k) forpredicting X(k+1) from X(k). when training GGS-NN,there are two setting:specifying all intermediate annotations or only the first one.

结合代码深入理解

最低0.47元/天 解锁文章
chen5561
关注
专栏目录
图神经网络（二十八）GATED GRAPH SEQUENCE NEURAL NETWORKS
码匀的博客
04-12 1117
本文收录于ICLR2016，作者来自于多伦多大学，文章比较老了，但是很经典。GGNN是一种基于GRU的经典空域模型，一个基本的感觉就是GNN+Gate。 本文GRU非常像，因此在说本文之前，先介绍一下RNN内容： RNN 关于RNN、LSTM的知识可以看李宏毅老师的课程，讲的非常好，传送门，这里只简单概括一下。首先介绍一下最简单的RNN模型： 上图中的黄色的xxx是我们的输入数据，绿色的可以当做是一个内存块，初始时必须赋一个值，例如000，蓝色的a1a^1a1是将xxx的输出存入内存中的数值，橙色的yy
图神经网络(Graph Neural Networks) 原理与代码实例讲解
最新发布
程序员光剑
06-20 684
图神经网络(Graph Neural Networks) - 原理与代码实例讲解 1.背景介绍 在现代数据科学和机器学习领域，图数据结构的应用越来越广泛。图神经网络（Graph Neural Networks, GNNs）作为一种新兴的深度学习模型
【笔记】GATED GRAPH SEQUENCE NEURAL NETWORKS
Jason, Xu的博客
03-09 4474
“Gated Graph Sequence Neural Networks“论文笔记
Gated Graph Sequence Neural Networks
Milkha的博客
12-28 1634
文章目录1. 前言2. GG-NN3. GGS-NNReferences 论文地址：https://arxiv.org/abs/1511.05493 源码地址：ggnn slides：ggnn-talk 关键词：RNN, Graph Sequential tasks 1. 前言 这篇论文提出了一种基于GRU1的GNN，能够进行输出单个值的任务（如结点分类、图分类等），也能完成序列输出的任务（如最短路、欧拉环等）。论文中使用bAbI2（bAbI是Facebook AI推出的文本理解/推理任务生成器）任务和
GATED GRAPH SEQUENCE NEURAL NETWORKS
03-03
Graph-structured data appears frequently in domains including chemistry, natural language semantics, social networks, and knowledge bases. In this work, we study feature learning techniques for graph-structured inputs. Our starting point is previous work on Graph Neural Networks (Scarselli et al., 2009), which we modify to use gated recurrent units and modern optimization techniques and then extend to output sequences. The result is a flexible and broadly useful class of neural network models that has favorable inductive biases relative to purely sequence-based models (e.g., LSTMs) when the problem is graph-structured. We demonstrate the capabilities on some simple AI (bAbI) and graph algorithm learning tasks. We then show it achieves state-of-the-art performance on a problem from program verification, in which subgraphs need to be described as abstract data structures.
Graph-to-Sequence Learning using Gated Graph Neural Networks读书笔记
sjh18813050566的专栏
01-25 1156
发表于ACL2018 很多NLP问题可以建模为Graph-to-Sequence问题。 存在的问题：     之前方法有两种：grammar-based和seq2seq方法。grammar-based方法需要graph结点和字符token的对齐，seq2seq方法直接忽略了结构信息。     采用的方法：     本文利用Gated Graph Neural Networks(GGNN...
Python-GatedGraphSequenceNeuralNetworksGGNN的PyTorch实现
08-11
Gated Graph Sequence Neural Networks（GGNN）的PyTorch实现
GATED GRAPH NEURAL NETWORKS（GGNN）
qq_45312141的博客
06-05 2907
这里写目录标题GG-NNGGS-NNs GG-NN GGNN网络使用了GRU（Gate Recurrent Units），在固定的 T 时间步中展开RNN，并使用BPTT算法（Back Propagation Through Time）以计算梯度。 补充： GGNN并不能保证图的最终状态会到达不动点。由于更新次数 T 变成了固定值，因此GGNN可以直接使用BPTT算法来进行梯度的计算。相比于一般的GNN使用Almeida-Pineda算法需要更多的内存，但是不需要约束参数以满足压缩映射（contractio
Graph-to-Sequence Learning using Gated Graph Neural Networks
土豆面炸鸡饭
10-13 4670
                                                                           基于门控图网络的图到序列学习                                                                                                   摘要       ...
GGNN(Gated Graph Sequence Neural Networks)
BUPT-WT的博客
02-10 6194
GGNN研究意义: 1、提升在图结构中长期的信息传播 2、消息传播中使用GRU，使用固定数量的步骤T，递归循环得到节点表征 3、边的类型，方向敏感的神经网络参数设计 4、多类应用问题，展示了图神经网络更多的应用以及强大的表征能力 本文主要结构如下所示: 一、Abstract 本文提出使用GRU来更新图的节点信息，在一些数据任务上验证了模型的有效性 二、Introduction 对图神经网络进行扩展，解决序列输出任务，提出GGS-NNS模型 三、...
gated-graph-neural-network-samples-master_gated_图神经网络_图神经网络代码_
10-03
此代码是门控图神经网络的python代码实现
Gated Convolutional Neural Network
01-21
Gated Convolutional Neural Network for Semantic Segmentation in High-Resolution Images
graph neural network review.rar
07-03
对目前图神经网络的技术进行总结。经典graph算法，概率图模型和图神经网络。
刘知远-Introduction to Graph Neural Networks.pdf
04-01
Graphs are useful data structures in complex real-life applications such as modeling physical systems, learning molecular fingerprints, controlling traffic networks, and recommending friends in social networks. However, these tasks require dealing with non-Euclidean graph data that contains rich relational information between elements and cannot be well handled by traditional deep learning models (e.g., convolutional neural networks (CNNs) or recurrent neural networks (RNNs)). Nodes in graphs usually contain useful feature information that cannot be well addressed in most unsupervised representation learning methods (e.g., network embedding methods). Graph neural networks (GNNs) are proposed to combine the feature information and the graph structure to learn better representations on graphs via feature propagation and aggregation. Due to its convincing performance and high interpretability, GNN has recently become a widely applied graph analysis tool.
GGNN：GATED GRAPH SEQUENCE NEURAL NETWORKS
ResumeProject的博客
02-24 2086
论文 GGNN A∈RD∣V∣×2D∣V∣A ∈ R^{D|V|×2D|V|}A∈RD∣V∣×2D∣V∣ Av:∈RD∣V∣×2D：v在A对应的两列A_{v:} ∈ R^{D|V|×2D}：v在A对应的两列Av:​∈RD∣V∣×2D：v在A对应的两列 av(t)∈R2Da^{(t)}_v ∈ R^{2D}av(t)​∈R2D包含从两个方向的边激活 等式1是隐藏节点的表示。等式2是通过输入和输出边在图的不同节点之间传递信息的步骤，参数取决于边的类型和方向。等式1是隐藏节点的表示。\\ 等式2是通过输
门控图序列神经网络
酒柜担保人的博客
03-28 1137
论文：Li, Yujia, etal. Gated Graph Sequence Neural Networks[J]. Computer Science, 2015. Contribution Our main contribution is an extension of Graph Neural Networks that outputs sequences.(扩展了输出序列的图神经网络...
探索Gated Graph Neural Networks with PyTorch: ggnn.pytorch
gitblog_00001的博客
04-18 343
探索Gated Graph Neural Networks with PyTorch: ggnn.pytorch 项目地址:https://gitcode.com/JamesChuanggg/ggnn.pytorch 该项目——ggnn.pytorch——是一个基于PyTorch实现的门控图神经网络（Gated Graph Neural Networks, GGNN）库。GGNN是深度学习在图结构...
门控图神经网络（GGNN）及代码分析
热门推荐
Orangetc的博客
04-22 1万+
门控图神经网络GGNN及代码分析 基本概念 GGNN是一种基于GRU的经典的空间域message passing的模型 问题描述 一个图 G = (V, E)， 节点v ∈ V中存储D维向量，边e ∈ E中存储D × D维矩阵， 目的是构建网络GGNN。 实现每一次参数更新时，每个节点既接受相邻节点的信息，又向相邻节点发送信息。 主要贡献 基于GRU提出了GGNN，利用RNN类似原理实现了信息在graph中的传递。 传播模型 输出模型 来源论文 Gated Graph Sequence Neural
改进的图神经网络：Gated Graph Sequence Networks在多领域应用与程序验证中的性能
GATED GRAPH SEQUENCE NEURAL NETWORKS (GGNNs) 是一篇在2016年国际计算机视觉与模式识别会议（ICLR）上发表的研究论文。论文关注于图结构数据的学习，这种数据在诸如化学、自然语言处理、社交网络和知识库等多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值