GNN Pooling(二)：Pointer Networks，NIPS2015；SEQUENCE TO SEQUENCE FOR SETS,ICLR,2016

最新推荐文章于 2020-09-28 08:57:36 发布
最新推荐文章于 2020-09-28 08:57:36 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： GNN Pooling 文章标签： 机器学习 人工智能 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/107060387
版权

我是目录

Set2Set可以作为图池化的一种思路，其本质是对Ptr-Net的改进，因此会连续介绍这两篇论文。

1. Pointer Networks

简称Ptr-Net，是在Seq2Seq的基础上进行的改进。对于Seq2Seq的任务，输入输出都是任意的，而对于一些实际的问题，输出的长度、内容严重依赖于输入（甚至就是从输入中选出一部分作为输出），为了解决这个问题，Ptr-Net被提出来。其本质就是对Self-Attention进行的简单改进，使用注意力作为指针来选择输入序列中的一个成员作为输出。本文也在三个常见的任务中证实了Ptr-Net的有效性。
Ptr-Net也有着广泛的应用，比如文本摘要，比如图池化（Set2Set）。因此还是有必要读一读的。
本文的作者来自Google Brain，以及UC Berkeley。都是大佬啊。

三个任务

为了更好地理解Ptr-Net是如何克服Seq2Seq的缺点的，稍微改变一下论文的顺序，先介绍三个不同的几何学问题。

  1. planar convex hulls
    首先是平面凸包问题。平面的凸包可以不严谨地理解为给定一个点集，求一个由不同点构成的凸多边形，将剩余的所有顶点包括在内：
    在这里插入图片描述
    完备的数学定义应该是：所有包含点集X的所有凸集的交集，凸集则是说，在集合内的任意两点之间的连线上的所有点必须也在这个集合内。比如，月牙形就不是凸集。
  2. Delaunay triangulations（定义来源于百度百科）
    【定义】三角剖分：假设V是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段, E为e的集合。那么该点集V的一个三角剖分T=(V,E)是一个平面图G，该平面图满足条件：
    1.除了端点，平面图中的边不包含点集中的任何点。
    2.没有相交边。
    3.平面图中所有的面都是三角面，且所有三角面的合集是散点集V的凸包。
    【定义】Delaunay边：假设E中的一条边e（两个端点为a,b），e若满足下列条件，则称之为Delaunay边：存在一个圆经过a,b两点，圆内(注意是圆内，圆上最多三点共圆)不含点集V中任何其他的点，这一特性又称空圆特性。
    【定义】Delaunay三角剖分：如果点集V的一个三角剖分T只包含Delaunay边，那么该三角剖分称为Delaunay三角剖分。
    在这里插入图片描述
  3. planar Travelling Salesman Problem
    旅行商问题。给定一系列城市和每对城市之间的距离，求解访问每一座城市一次并回到起始城市的最短回路。它是组合优化中的一个NP难问题。

可以看到以上三个问题都严重依赖输入的结点。

Sequence-to-Sequence Model

首先介绍一下Seq2Seq：

给定输入（P,​​​​​​​​​​​​​​​​​​​​​CP​​​​​​​），根据RNN计算条件概率：p(CP​​​​​​​|P;θ)：
在这里插入图片描述
其中，P ={P1…Pn}是特征向量的序列，CP​​​​​​​={C1…Cm( P )}，m( P )是所有输出的index，CP​​​​​​​则表示输出。在上述链式概率公式中，第m( P )输出由其之前的C1…Ci-1共同决定。通过最大化训练集的条件概率来学习模型的参数：
在这里插入图片描述

Ptr-Net

为了方便描述，规定Encoder和Decoder的隐状态被表示为：（e1…en）和（d1…dm( p )）。然后论文中提到【1】为了encoder流向decoder的信息受限的问题，通过在encoder与decoder之间添加如下的注意力解决。
在这里插入图片描述
原论文里对公式符号的描述写得并不是很清楚，为此我又去翻了一下github的代码，有兴趣大家也可以看看：https://github.com/vy007vikas/PyTorch-PtrNet/blob/master/model.py。其中，j表示从1到n的encoder的输出的index，注意这时候已经把输入编码了，但是还不确定decoder的输出也就是（d1…dm( p )），这个需要根据上述注意力的计算公式得到。对于i，i是decoder的time step，i=1时候是一个特殊的标记符表示decoder的开始，这个是已知的；然后，attention就是根据当前这个时间步的i，联合所有的（e1…en）去得当前time step的输出。
v,W1,W2都是可学习参数，softmax也是注意力中常见的normalize操作，输出的aij就是注意力。d’i则是对所有e的加权和，这个权值是注意力。然后，d’i与di这俩被拼接起来作为当前时间i的隐藏状态使用，并在后续的预测任务中使用这个拼接之后的向量，并将其反馈给递归模型中的下一个时间步。
最终，Ptr-Net使用所有的注意力来表示指向原始输入的“指针”（Figure1 b）。
在这里插入图片描述

Empirical Results

实验之前需要构建数据集，对于不同的三种任务，数据集有所差别，但是所有的输入集P = {P1…Pn}都是平面坐标系中的点，Pj = (xj ; yj)代表结点的坐标。所有坐标的取值范围都在[0; 1] 之间，输出是CP。用n表示结点的数量。

凸包
使用两个指标衡量算法的好坏：准确率以及覆盖面积。本质上凸包是一堆结点构成的凸多边形，而Ptr-Net的返回结果也包含一些结点，这两个结点集的交集占凸包集的比例应该就是准确率；而覆盖面积就是这个结点组成的多边形围成的面积占凸包的面积的比。Table1是在不同结点数量下的准确率。FAIL表示算法不能生成一个简单的多边形面积占比超过99%的多边形。
在这里插入图片描述

Delaunay Triangulation
两个指标:以百分比表示的准确性和三角形覆盖率(模型正确预测的三角形的百分比)。（但是论文里没有给出这个的实验结果？？？可能我看的是假论文？？？）
旅行商
从结果来看，Ptr-Net只是提供了一个解法，但是并没有最优，A1A2A3是论文中提到的仨对比方法。
在这里插入图片描述
个人感觉这篇论文里的实验部分参考价值不大，但是这个模型还是值得借鉴的。

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In ICLR 2015, arXiv preprint arXiv:1409.0473, 2014

2. Set2Set

文本首先通过各种例子说明，在学习底层模型时，我们组织输入和/或输出数据的顺序非常重要，然后讨论seq2seq框架的一个扩展，它超越了序列，可以通过集合进行输入(变成顺序无关的)。此外提出了一个损失函数，这个函数能够在训练的时候在可能出现的顺序上进行检索，解决结构信息缺失的问题。

Model

在这里插入图片描述
这个Model是对Ptr-Net的一个改进，把Seq2Seq的Encoder变成了一个Read部件，这样就使得输入不依赖于顺序，而可以是一个集合了。模型分为三个部分：

  • A reading block。本质上是一个小规模的神经网络，将输入特征xi∈X映射到记忆向量mi。

  • A process block。这个模块用到了Ptr-Net中对记忆力的改进，不过形式化的描述稍有不同：
    在这里插入图片描述
    process本质上是一个LSTM，通过当前时间t与所有的输入mi（i∈[1,n]）的注意力的加权聚合共同得到下一个时间步的输入q*t。这个都与Ptr-Net中提到的注意力差不多。

  • write block。是一个LSTM pointer network，所以Set2Set里用到了两次Ptr-Net的结构，在指针之前添加了一个额外的注意步骤(文中称之为glimpse)来扩展它。
    它满足输入X元素顺序不变的关键特性，从而有效地将输入处理为一个集合。这部分我的理解是，在输入X转化为mi之后，首先用了一个注意力（process）来确定离散元素之间的顺序关系，因此满足了顺序不变性。

SORTING EXPERIMENT

为了验证我们的模型是否比普通的seq2seq方法更有效地处理集合，我们在人工数据上运行了以下实验来完成排序数字的任务:给定0到1之间的N个无序随机浮点数，我们将按照排序的顺序返回它们。进行了多次实验，改变要排序的数的N，以及读、处理、写模型的处理步骤的数T。可以看到在采用了glimpse之后，本文的方法是要强于Ptr-Net的，但是对于很长的数据输入来说效果还是蛮差的。
在这里插入图片描述
接下来又讨论了模型在不同任务上的应用，并探究了顺序对输出的影响，比如语言模型，constituency parsing（这个与句法解析不同，这个解析出来的是一个个词组之间的关系，句法的解析呢是单词之间的关系），组合问题，图模型等等。
对于图模型来说，还是得考虑链式概率分布，通过选择任何从head变量开始的排序，应该更容易建立联合分布的模型。也就是得给图指定一个head初始点，这个点是独立的，之后的结点的概率都依赖于这个结点。
在这里插入图片描述
但是我也没咋看懂这个图模型任务是啥…总感觉这篇论文怪怪的，要不是有别的论文提到了这个Set2Set我是绝不会看的，并且Set2Set在github的代码居然是用C实现的…算了算了，不看了

五月的echo
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
gnn-pooling:GNN的合并层实验
03-13
Gnn池 GNN的合并层实验
2016-ICLR-Order Matters- Sequence to sequence for sets
发呆的比目鱼的博客
02-12 453
2016-ICLR-Order Matters- Sequence to sequence for sets
[NIPS2015]Pointer Networks
热门推荐
Deep Learning and NLP Farm
08-03 1万+
今年ACL上一篇联合抽取实体和关系的文章提到了pointer networks, 于是先大概了解下什么是pointer networks, 再回头看ACL上的那篇文章 pointer networks文中简称Ptr-Net, 是attention model 的一个变体，首先给出介绍比较详细的attention的文章，稍后讲解Ptr-Net http://blog.csdn.net/xbinwo
GNN Pooling(一)：Graph U-Nets，ICML2019
qq_36618444的博客
06-29 2123
本文的两位作者都来自TexasA&M University, TX, USA。看起来有些熟悉，果然是咱们之前读过的论文的作者：Learning Graph Pooling and Hybrid Convolutional Operations for Text Representations，WWW。并且，在池化过程中采用的基本思路是都差不都的。 相比于图卷积的研究，针对于图池化的研究要少许多。本文提出了U-Nets，这是一种类似于Encoder-Decoder的操作，分为GPool和gUnpoo
GNN Pooling(三)：An End-to-End Deep Learning Architecture for Graph Classification，AAAI2018；以及图核
qq_36618444的博客
07-03 4700
目录核，图核，图卷积核Deep Graph Convolutional Neural Network (DGCNN)Graph convolution layersConnection with Weisfeiler-Lehman subtree kernelConnection with propagation kernel未完待续...... 本文的作者来自Department of Computer Science and Engineering, Washington University in S
Awesome-GNN-Recommendation:图神经网络
03-18
我们还有一个微信公众号，提供一些有关GNN和推荐的材料。 欢迎您加入我们，为GNN和Recommendation提供任何贡献！这是供稿者使用的模板： [ID] Authors. **Paper_Name**. Conference&Year. [Paper](Paper_Link) 模板...
gnn-comparison:ICLR 2020“用于图分类的图神经网络的公平比较”的官方资料库
05-01
fair_2020, title = {A fair comparison of graph neural networks for graph classification}, booktitle = {Proceedings of the 8th {International} {Conference} on {Learning} {Representations} ({ICLR})},...
gnn_framework:GNN的C ++框架
04-10
混合GNN训练框架 安装 要求 C ++ 14 CUDA> = 11.0 联合会 古巴 CUSPARSE 梅蒂斯 从源代码构建 做配置python configure.py 构建全部-j 如何使用 数据集 混合GNN训练框架在COO表示中使用图形数据集。 您可以使用...
GNN_branching:实施GNN ReLU分支策略
05-22
用于神经网络验证的神经网络分支 该存储库包含复制论文中报告的实验所需的所有代码：“ 。 依存关系 此代码应适用于python> = 3.6和pytorch> = 0.4.1。 对于求解由网络线性逼近和MIP公式的Integer程序引起的LP，...
GNN Pooling(八)：STRUCTPOOL via CRF，ICLR2020
qq_36618444的博客
07-30 716
目录图模型三个马尔科夫性联合概率分布CRFReferences 本文的作者来自Texas A&M University。大多数现有的图池技术没有显式地考虑图的结构信息，本文将图池看作是一个节点聚类问题，需要学习一个聚类分配矩阵。我们建议将其表示为一个结构化预测问题，并使用条件随机场来捕获不同节点分配之间的关系。使用CRF的直觉是这样的：给定节点的分配应该依赖于输入节点特性和其他节点的分配，而CRF正是通过无向图模型捕获不同节点分配之间的这种高阶结构关系。 话说我一直傻傻分不太清楚无向图有向图概率图这
Agreement on Target-Bidirectional LSTMs for Sequence-to-Sequence Learning
06-25
Recurrent neural networks, particularly the long short-term memory networks, are extremely appealing for sequence-tosequence learning tasks. Despite their great success, they typically suffer from a fundamental shortcoming: they are prone to generate unbalanced targets with good prefixes but bad suffixes, and thus performance suffers when dealing with long sequences. We propose a simple yet effective approach to overcome this shortcoming. Our approach relies on the agreement between a pair of target-directional LSTMs, which generates more balanced targets. In addition, we develop two efficient approximate search methods for agreement that are empirically shown to be almost optimal in terms of sequence-level losses. Extensive experiments were performed on two standard sequence-to-sequence transduction tasks: machine transliteration and grapheme-to-phoneme transformation. The results show that the proposed approach achieves consistent and substantial improvements, compared to six state-of-the-art systems. In particular, our approach outperforms the best reported error rates by a margin (up to 9% relative gains) on the grapheme-to-phoneme task. Our toolkit is publicly available on https://github.com/lemaoliu/Agtarbidir.
GNN Pooling(七)：CLIQUE POOLING FOR GRAPH CLASSIFICATION，ICLR2019
qq_36618444的博客
07-17 589
本文作者来自于University of Cambridge，本文是一篇workshop，并且其内容也十分简单。本文提出了一种以clique（团）作为单元池的新型图池操作。由于这种方法是纯拓扑的，而不是特性的，它更容易解释，而且完全非参数化。该操作在图卷积网络(GCN)和GraphSAGE架构中实现，并通过标准图分类基准测试。此外，我们还探索了池化与规则图（像素图）的兼容性，演示了在使用我们的机制替换标准卷积神经网络(CNNs)中的2*2池化时具有竞争性的性能。 Model 话不多说，上图。 clique
GNN Pooling(五)：Self-Attention Graph Pooling，2019ICML
qq_36618444的博客
07-13 2819
目录Graph PoolingMethodSelf-Attention Graph Pooling Graph Pooling 本文的作者来自Korea University, Seoul, Korea。话说在《请回答1988里》首尔大学可是很难考的，韩国的高考比我们的要更激烈乃至残酷得多。 本文提出了一种基于自注意的图池方法。使用图形卷积使我们的池化方法同时考虑节点特征和图形拓扑。为了确保公平的比较，对现有的池方法和我们的方法使用了相同的训练过程和模型架构。实验结果表明，该方法在参数合理的情况下，能够在基
GNN Pooling(十)：MEMORY-BASED GRAPH NETWORKS，ICLR2020
qq_36618444的博客
08-02 744
目录MANN 本文作者来自University of Toronto，Sharif University of Technology。 本文提出了一种memory layer，借助multi-head array of memory keys和卷积算子，学习soft cluster assignment。不像是GCN依赖于local信息，memory layer依赖于全局信息，因此不用担心过平滑。根据memory layer为基础提出了两种不同的模型：memory-based GNN (MemGNN)以及g
GNN Pooling(六)：Graph Convolutional Networks with EigenPooling，KDD2019
qq_36618444的博客
07-14 1062
目录1. EigenPool1.1 Graph CoarseningEigenvector-Based PoolingTHEORETICAL ANALYSIS OF EigenPoolingEXPERIMENT 这真是我读过的最难的一篇图池化了。有些没有理解的地方等日后再来拾遗。 本文作者来自Michigan State University，Pennsylvania State University以及IBM T. J. Watson Research Center。 图池化把节点分组为子图(对应池化之后
GNN中的Graph Pooling
木盏
06-25 9820
前言 GNN/GCN在非欧数据中的应用具有极大的挖掘价值。通常，GNN的应用分为两种：1，节点分类；2，图分类。 节点分类可以用在点云分割，社交网络节点分类，推荐算法等等。 图分类可以用在姿态估计，蛋白质分类等等，当然，也可以用在图像分类。 对于节点分类而言，图结构在forward阶段是不会改变的，改变的只是节点的隐藏层属性。如下： 对于图分类而言，图结构在前传的时候会downsize，最后聚合成一个点的feature再做MLP： 截图来自论文：https://arxiv.org/abs
深度学习之CNN中pooling
AndyJ的学习之旅
06-05 657
概要 1、pooling主要是在用于图像处理的卷积神经网络中，但随着深层神经网络的发展，pooling相关技术在其他领域，其他结构的神经网络中也越来越受关注。 2、卷积神经网络中的卷积层是对图像的一个邻域进行卷积得到图像的邻域特征，亚采样层就是使用pooling技术将小邻域内的特征点整合得到新的特征。pooling确实起到了整合特征的作用。 3、pooling的结果是使得特征减少，参数减少，但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性（旋转、平移、伸缩等），常用的有mean-p
【NeurIPS2020】Google点针图网络，Pointer Graph Networks
Drchen
09-28 667
关键词：图的搜索空间，图结构推测，点针传递 图神经网络(GNNs)通常应用于静态图，这些静态图可以认为是预先已知的。这种静态输入结构通常完全由机器学习从业者的洞察力决定，对于GNN正在解决的实际任务可能不是最佳的。在缺乏可靠的领域专家知识的情况下，人们可能求助于推断潜在的图结构，但由于可能的图的搜索空间很大，这往往是困难的。这里我们引入了点针图网络(PGNs)，它增加了集合或图的推断边的能力，以提高模型的表达能力。PGNs允许每个节点动态地指向另一个节点，然后通过这些点针传递消息。这种可适应图结构的稀疏性.
GNN Pooling(十一)：Edge Contraction Pooling for Graph Neural Networks，2019
qq_36618444的博客
09-06 1432
本文的作者来自An-Institut Technische Universität München，本文至今好像还未正式发表。 本文提出了EdgePool，其能够学习一个局部和稀疏的硬池变换，并自然地考虑到图结构，确保不会完全删除节点。EdgePool优于其他的池化方法，可以很容易地集成到大多数GNN模型中，并且在节点分类和图分类方面都提高了性能。 EdgePool Edge contraction 为了实现边池，提出了一种Edge contraction的策略。引入新节点vev_eve​和新边，使vev_
gnn-objdump -v bash: gnn-objdump: command not found
最新发布
06-01
如果系统中没有安装 GNN binutils，你需要先安装它们才能使用。你可以使用以下命令在 Ubuntu 上安装 GNN binutils： ``` sudo apt-get install binutils-gnn ``` 安装完成后，你可以再次运行 `gnn-objdump -v` 命令来查看版本号。如果你使用的是其他 Linux 发行版，可以使用相应的包管理器来安装 GNN binutils。如果没有现成的包可用，你可以从 GNN 官方网站下载源代码并手动编译安装。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值