《Hierarchical Graph Representation Learning with Differentiable Pooling》论文解析

最新推荐文章于 2024-05-30 11:54:45 发布
最新推荐文章于 2024-05-30 11:54:45 发布
阅读量4.2k 收藏 17
点赞数 7
分类专栏： 论文解析 文章标签： GNN 分层表示 表示学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28978363/article/details/96478415
版权
本文详细解析了斯坦福大学研究团队的论文《Hierarchical graph representation learning with differentiable pooling》，介绍了DIFFPOOL算法如何解决GNN的扁平化结构问题，通过分层pooling实现图的层次表示。实验表明，DIFFPOOL在图分类任务上展现出优越性能，尤其在与GRAPHSAGE结合时效果显著。
摘要由CSDN通过智能技术生成

    最近阅读了由斯坦福大学研究团队发表的这篇名为“Hierarchical graph representation learning with differentiable pooling”论文，对于论文中提出的问题觉得十分新颖，同时论文的写作也很流畅，因此将个人对该论文的理解进行整理，如有不当之处还请指教。

    算法框架

    GNN的相关研究被广泛的应用于图表示学习中，并且在节点分类和链路预测等任务中取得了SOTA的结果。但是GNN框架设计之初是基于CNN实现的，其固有的扁平化结构并不能完全适应于图的表示，因为大多数的图（网络）是具有层次结构的。所以，本文的motivation也是源于图的这种分层结构，提出了一种名为DIFFPOOL的算法。算法的总体框架如图1所示。

    从图1可以看出，DIFFPOOL算法是一种分层pooling的GNN算法。在每一层内部使用的是一种图分类表示算法（本文使用GRAPHSAGE模型【“Inductive representation learning on large graphs”】）来得到当前图中节点的向量表示；在层与层之间则使用局部pooling的操作得到当前图的粗化图（coarsened graph）。在每一层内，算法都会根据GNN得到的节点向量对该层中的图进行聚类操作，将节点映射到一系列类别（cluster）中，从而得到新的分层图。直到最后一层，DIFFPOOL算法会得到整个图的一个统一的向量表示，用于图分类任务。DIFFPOOL算法的核心思想是通过提供一个能够区分图中分层节点的pooling操作来得到一个更深、更多层结构的GNN模型。同时DIFFPOOL算法能够和多种GNN模型进行融合，也说明该算法具有一定的泛化性。

    算法介绍

预备知识

1、图分类任务。将一个图G表示成(A，F)，其中A为图的邻接矩阵 A\epsilon \left \{ 0,1 \right \}^{n\times n},F表示图的节点特征矩阵 F\epsilon \mathbb{R}^{n\times d},n 为图中节点的个数，d为节点的特征数（当然，对于一个图的表示可以根据模型需要自行定义，本文使用的是邻接矩阵和特征矩阵的方式表示所要输入的图）。而一个图分类任务可以有如下描述：给出一系列的带标签的图 D=\left \{ \left ( g_{1},y_{1}\right ),\left ( g_{2},y_{2} \right ) ,...\right \},其中 y_{i}\epsilon Y 为每个图 

最低0.47元/天 解锁文章
angel_峰起云涌
关注
  • 7
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HGSM——基于层级结构图的相似度分析
BaiJingting的博客
05-27 2035
HGSM算法(Hierarchical-graph-based Similarity Measurement)，基于层级结构图的相似度分析：主要是基于用户的历史位置信息挖掘用户之间的相似度。与其他关于位置信息的算法不同的地方在于它考虑了人们运动行为的序列性质和地理空间的层次性
Hierarchical Graph Representation Learning with Differentiable Pooling（2018 NeurIPS）
weixin_43856668的博客
11-22 301
最近，图神经网络（GNN）通过有效学习节点嵌入彻底改变了图表示学习领域，并在节点分类和链接预测等任务中取得了最先进的结果。然而，当前的GNN方法本质上是扁平化的，不能学习图的层次表示——这一限制对于图分类任务来说尤其成问题，因为图分类的目标是预测与整个图相关联的标签。在这里，我们提出了DIFFPOOL，这是一个可微分的图池模块，可以生成图的层次表示，并可以与各种图神经网络结构在端到端方式的组合。
Hierarchical graph representation learning with differentiable pooling
qq_41818256的博客
01-16 656
该篇文章主要是通过图坍缩机制来分层学习图的结构特征。GCN能够通过层次结构来学习节点的分层表示，但是其无法学习到图的分层表示。对于图级分类任务而言，图的分层表示有利于更进一步地得到图的精简表示。该篇论文通过簇分配矩阵来对图中的节点进行软分配。与硬分配不同，它不是直接将某一个节点划分到某一个簇中，而是同一个概率分布向量来分配该节点对于各个指定的簇的贡献度。所有节点的概率分布向量就组成了簇分配矩阵S。通过簇分配矩阵S，我们就能够得到簇的特征表示以及簇与簇之间的连接强度。转换公式如下所示： 簇分配矩阵可以通过另
[DIFFPOOL] - Hierarchical Graph Representation Learning with Differentiable Pooling 图分类 NeurIPS 2018
热门推荐
知行合一，止于至善
11-29 1万+
文章目录1 相关介绍相关概念背景介绍模型简介2 相关工作3 DIFFPOOL：可微的pooling方法3.1 问题定义图神经网络堆叠GNNs和pooling层3.2 Differentiable Pooling via Learned AssignmentsPooling with an assignment matrixLearning the assignment matrixPermutat...
阅读Hierarchical Graph Representation Learning with Differentiable Pooling(NeurIPS 2018)
qq_33331451的博客
05-05 552
  最近关注graph pooling，Hierarchical Graph Representation Learning with Differentiable Pooling(NeurIPS 2018)，分层可微pooling图表示学习方法。 文章目录Abstract1 Introduction2 Related Work3 Proposed Method3.1 Preliminaries...
分层图池化：Hierarchical Graph Representation Learning with Differentiable Pooling
tagagi的博客
11-27 2973
来源： KDD’18, 2018 论文： https://arxiv.org/abs/1806.08804 本文提出了一个层级池化的方法。在每一层，应用两个GNN，一个生成该层级的节点嵌入，一个将不同类别的节点聚类成不同的簇。这一层的输出即为下一层的输入。 1 问题与挑战 从节点嵌入到图嵌入的常用方法有：简单地汇总或平均最后一层中的所有节点嵌入，引入一个连接到图中所有节点的“虚拟节点”，或使用在集合上运行的深度学习体系结构聚合节点嵌入 问题：这些方法都是扁平（flat）的，即在图...
2019-[斯坦福 Leskovec]-Hierarchical Graph Representation Learning w
08-08
《2019年斯坦福Leskovec的Hierarchical Graph Representation Learning with Differentiable Pooling》是一篇关于深度学习在图表示学习领域的创新性研究。文章由著名数据科学家Jure Leskovec领导的研究团队发表，...
论文研读之《Graph Convolutional Networks with EigenPooling》
ZhangK9509的博客
03-13 2020
论文：https://arxiv.org/pdf/1904.13107.pdf 代码：https://github.com/alge24/eigenpooling 应用领域：图分类 数据集： ENZYMES D & D PROTEINS Mutagenicity NCI1 NCI109 主要贡献：提出 EigenPooling。 预备知识： 基础的图论 谱聚类 谱图论 图的傅里叶变换...
(AAAI2020 Yao) Graph Few-shot Learning via knowledge transfer
「 虚幻私塾」
05-15 485
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 22-5-13 seminar上和大家分享了这篇文章，重新整理一下在博客里备个份 [0]Graph few-shot learning via knowledge tr
CIKM 2021 | 基于池化结构搜索的图分类
Paper weekly
11-08 2675
论文标题：Pooling Architecture Search for Graph Classification论文地址：https://arxiv.org/abs/2108.10587...
读《Hierarchical Graph Representation Learning with Differentiable Pooling》
weixin_40459958的博客
01-11 472
2018（图池化经典） 摘要 GNN方法本质上是平坦的，并且不学习图的层次表示（空域的多通道，或者k步邻居算吗？图的层次是指啥）——这一限制对于图分类的任务尤其成问题，其中的目标是预测与整个图相关联的标签。 diffpool，一个可微的图池模块，它可以生成图的层次表示，并可以以端到端方式与各种图神经网络架构相结合。 Diffpool学习深度GNN每一层节点的可微soft cluster assignment（？），将节点映射到一组簇，然后形成下一个GNN层的粗输入。 引言 然而，当前GNN体系结构的一
DiffPool: Hierarchical Graph Representation Learning with Differentiable Pooling
todoooooo的博客
06-02 796
本文提出了一种分层的图池化机制DiffPool，通过将原始图的部分节点映射成粗粒度图上的一个节点模型能够学习到图的层级结构，在池化多次后将图映射成一个节点，进而得到整张图的表示。 本文被NIPS2018接收，地址：Hierarchical Graph Representation Learning with Differentiable Pooling Motivation 在有机分子中，人们希望能够编码局部的分子结构（原子间的化学键）以及图的粗粒度结构（代表分子功能的结构单元），但当前的GNN无法以分层的
GNN Pooling(四)：Hierarchical Graph Representation Learning with Differentiable Pooling，NIPS2018
qq_36618444的博客
07-11 1015
目录Proposed MethodPreliminaries 本文的作者们来自Stanford University，TU Dortmund University，University of Southern California。 当前GNN架构的一个主要限制是，它们本质上是扁平的，因为它们只在图的边上传播信息，不能以分层的方式推断和聚合信息。因此本文提出了DIFFPOOL，一个可微的图池模块，可以适应各种图神经网络结构的层次和并以端到端方式进行训练。在池化的下采样过程中，DiffPool定义了一个模型来
Hierarchical Graph Representation Learning with Differentiable Pooling摘要
wanchaochaochao的博客
07-22 5396
  图网络（GN）在深度学习短板即因果推理上拥有巨大潜力，很有可能成为机器学习领域的下一个增长点，而图神经网络（GNN）正属于图网络的子集。GNN近期在图形分类任务上得到了当前最佳的结果，但其存在平面化的局限，因而不能将图形分层表征。现实应用中，很多图形信息都是层级表征的，例如地图、概念图、流程图等，捕获层级信息将能更加完整高效地表征图形，应用价值很高。在本文中，来自斯坦福等大学的研究者通过在GN...
DIFFPOOL - Hierarchical Graph Representation Learning with Differentiable Pooling NIPS 2018
知行合一，止于至善
01-07 1132
文章目录1 相关介绍相关概念背景介绍模型简介2 相关工作3 DIFFPOOL：可微的pooling方法3.1 问题定义图神经网络堆叠GNNs和pooling层3.2 通过学习聚类分配矩阵来进行可微的poolingQ1: 怎样学习聚类分配矩阵S？Q2: 假定聚类分配矩阵已存在，如何进行Pooling？Permutation invariance排列不变性3.3 Auxiliary Link Prediction Objective and Entropy Regularization4 实验数据集模型配置Ba
图分类《Hierarchical Graph Representation Learning with Differentiable Pooling》阅读笔记
weixin_37936515的博客
03-11 1286
图分类《Hierarchical Graph Representation Learning with Differentiable Pooling》阅读笔记 Abstract 对于graph neural networks (GNNs)，大体上分三种任务：Node Classification，Link Prediction和 Graph Classification。本文关注的是Graph C...
Hierarchical graph representations in digital pathology
NanXian Lin的博客
03-22 3709
Author: Pushpak Pati Publication: Medical image analysis Introduction 组织标本的癌症诊断、预后和治疗反应预测高度依赖表型和构成组织实体的拓扑分布。因此，适当的组织代表编码组织实体是计算机辅助癌症患者护理的当务之急。为此，有几种方法利用细胞图，捕捉细胞微环境，以描绘组织。这允许利用图论和机器学习将组织表示映射到组织功能，并量化他们的关系。虽然细胞信息是至关重要的，但它是不完整的综合表征复杂的组织结构。在此，他们将组织作为多种类型的组织
图分类之Hierarchical Graph Differentiable Pooling （下）
最新发布
chumingqian的博客
05-30 837
是为图结构数据设计的神经网络模型。它通过结合分层池机制扩展了传统图卷积网络（GCN）的功能。这种池化机制通过逐步减少节点数量，同时保留图的整体结构，帮助网络处理大型且复杂的图。通过引入软池机制来增强 GCN，该机制允许在大型复杂图中进行分层表示学习。它结合了多层图卷积和池化来创建输入图的鲁棒、多尺度表示，使其适用于各种图分类和预测任务。链接预测正则化进一步增强了其在池化过程中保持图的结构完整性的能力。该模型从传统的 GCN 层开始，将图卷积应用于输入节点特征。
hierarchical-graph-attention-network-master的数据集
09-17
hierarchical-graph-attention-network-master是一个使用分层图注意力网络（Hierarchical Graph Attention Network）进行训练和预测的项目。该项目主要针对一种特定的数据集。 该数据集可以是一个图数据集，其中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值