导读ICML2016 - Learning Convolutional Neural Networks for Graphs

最新推荐文章于 2024-08-19 00:15:00 发布
最新推荐文章于 2024-08-19 00:15:00 发布
阅读量5.3k 收藏 3
点赞数 2
分类专栏： 机器学习——技术漫谈 文章标签： Convolutional Neural Graphs



http://mp.weixin.qq.com/s?__biz=MzIxNzE2MTM4OA==&mid=2665642794&idx=1&sn=b11ec8699218d43bb7b404a4980bf82e&scene=25


感觉方法挺好：

论文引介 |Learning Convolutional Neural Networks for Graphs

  2016-06-10  涂存超  智能立方


文章原名：Learning Convolutional Neural Networks for Graphs

作者：Mathias Niepert, Mohamed Ahmed, Konstantion Kutzkov

单位：NEC Labs Europe, Heidelberg, Germany

译者：涂存超

链接：http://arxiv.org/abs/1605.05273

 

【导读】

这篇文章提出了对任意的图（网络）学习卷积神经网络的框架。这些图可以是有向的或者无向的，节点和边的属性也可以是离散的或者连续的。对于图像来说，卷积神经网络对输入图像的局部关联的区域进行操作，和此类似，本文提出了一种通用的方法，也抽取图中局部关联的区域进行相应的操作。在标准数据集上的实验结果显示，本文提出的方法学习到的特征表示和目前最先进的graph kernel的方法可比，并且计算效率非常高。


 

【模型】

为了能够对任意结构的图进行卷积操作，这篇文章提出了PATCHY-SAN (Select-Assemble-Normalize)的方法，通过三个步骤构建卷积分片：1.从图中选择一个固定长度的节点序列；2.对序列中的每个节点，收集固定大小的邻居集合；3.对由当前节点及其对应的邻居构成的子图进行规范化，作为卷积结构的输入。通过上述三个步骤构建出所有的卷积片之后，利用卷积结构分别对每个分片进行操作。具体示意图如下图所示。


下面具体介绍一下构建卷积分片的步骤以及最后的卷积结构。

  1. 节点序列选择：为了对图中所有的节点进行标号排序，本文引入了图标号函数，将图中的节点集合根据向心性（节点的度、中心度等）映射为有序的节点序列。从该序列中根据一定的间隔s隔段选取w个节点构成最终的节点序列。

  2. 邻居节点收集：对于上一步获得的节点序列中的每一个节点，利用广度优化搜索扩展邻居节点，和源节点一起构成一个k大小的邻域集合。

  3. 子图规范化：对于一个邻域集合的规划化过程如下图所示。对邻域集合中的个节点按照标号函数k进行排序，得到接受域。那么，对于节点的属性，k个节点属性值构成了一个输入通道，对于边的属性，k^2个属性值也构成了一个输入通道。我们可以分别用一维的卷积层来处理这两种输入通道（对于节点属性卷积层长度为k，对于边属性卷积层长度为k^2）。



【贡献】

这篇文章提出了一种通用高效的对任意的图进行表示学习的框架。同图像中的卷积神经网络类似，本文也是通过构建图中局部相连的邻域，然后对这些邻域进行卷积等操作。

其主要贡献在于，首先，将图像领域的卷积神经网络的概念扩展到网络图上。其次，本文提出的PATCHY-SAN模型与现有的方法相比十分高效，而且适用于大规模网络图。同时，PATCHY-SAN也支持对于学习到的图的特征的可视化，能够对图的结构属性有更深层的了解。下图就是对四种不同类型的图的特征可视化及抽取的邻域的可视化。


在实验部分，如下图所示，本文还证明了提出的针对图的CNN与目前最先进的graph kernel方法相比是有效的。


在理论上，这篇工作的主要贡献还包括：1.定义了的图及其复杂度的规范化问题；2.推导并提出了一种比较图集合中不同标号函数的对比方法。


mmc2015
关注
专栏目录
Graph Convolutional Neural Networks for Web-Scale Recommender Systems（用于Web级推荐系统的图形卷积神经网络）
weixin_41697507的博客
07-07 4179
Graph Convolutional Neural Networks for Web-Scale Recommender Systems 用于Web级推荐系统的图形卷积神经网络 ABSTRACT Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art pe...
Graph Convolutional Neural Network - Spatial Convolution 图卷积神经网络 — 空域卷积详解
Jay_Tang的博客
08-20 5518
Convolutional graph neural networks (ConvGNNs) Convolutional graph neural networks (ConvGNNs) generalize the operation of convolution from grid data to graph data. The main idea is to generate a node vvv’s representation by aggregating its own features xv\
论文笔记之Learning Convolutional Neural Networks for Graphs
热门推荐
BVL的博客
12-06 1万+
本篇论文是2016ICML上的一篇论文，对于如何将cnn应用在graph上提供了一种新的思路。架构： 总体上讲，就是用w个固定size=（k+1）的子图来表示输入的graph，再将这w个子图正则化后,生成一个w(k+1)维的向量，作为传统的cnn的输入，进行学习。其实就是做了一个从graph到向量的映射的一个预处理过程。算法流程 输入：任意一张图 输出：每个channel输出w个recep
【论文笔记】Learning Convolutional Neural Networks for Graphs
a1424262219的博客
01-17 386
Learning Convolutional Neural Networks for Graphs 2018-01-17 21:41:57 【Introduction】 这篇 paper 是发表在 ICML 2016 的：http://jmlr.org/proceedings/papers/v48/niepert16.pdf 上图展示了传统 CNN 在 image 上进...
【有啥问啥】图神经网络（Graph Neural Networks）是什么？
最新发布
Chauvin的博客
08-19 2379
在数据科学和机器学习的广阔领域中，图结构数据以其独特的复杂性和丰富性成为了一个重要的研究方向。从社交网络中的用户关系，到生物信息学中的蛋白质交互网络，再到交通网络中的道路连接，图结构数据无处不在。为了有效地处理和分析这些图数据，图神经网络（Graph Neural Networks, GNNs）应运而生，它们为理解和利用图结构数据中的复杂模式提供了强大的工具。
GCN--Learning Convolutional Neural Networks for Graphs
travalscx的博客
12-06 1768
这篇论文是在属于空间域上的图卷积 一篇博客介绍文章： https://www.leiphone.com/news/201706/ppA1Hr0M0fLqm7OP.html
Learning Convolutional Neural Network for Graphs
Blah_Z的博客
04-28 2492
初读，入学前的论文阅读，学识尚浅，敬请大佬批评指正
论文笔记: Learning Convolutional Neural Networks for Graphs
qq_44015059的博客
03-30 1261
前言 本文是是基于空域卷积的经典论文 主要讨论如何将CNN的方法和思想泛化到Graph 过程中由于图结构类型数据的特点，不能直接像2D图像数据一样直接应用卷积提取局部特征。需要一个从Graph到向量映射的预处理过程 简而言之就是为可以在图上应用CNN，需要将图类型数据转化为有空间位置信息的向量形式进行卷积操作 1. Introduction 文中主要从两个问题出发： 通过给定的一组图进行学习，可...
【论文阅读】Learning Convolutional Neural Networks for Graphs
weixin_43751558的博客
10-23 550
出版：ICML 2016 原文：http://211.81.63.130/cache/2/03/proceedings.mlr.press/cb5795e96aa42362f86e2ba3a13c32af/niepert16.pdf 卷积神经网络（CNN）可以提取图像像素点邻域的信息，从而抽取空间特征。而CNN处理的图像数据中像素点是排列成整齐的矩阵的，也就是Euclidean Structure结构。而对于graph这种拓扑结构，每个结点的度都不一样，原始的CNN就没办法处理了。这篇论文就提出了一种一般性
【Graph Neural Network 图神经网络】3.Spatial-based Graph Convolutional Networks 基于空间的图卷积网络
TsingM
06-25 3429
图卷积网络（GCN） 卷积图神经网络（GCN，图卷积网络）与递归图神经网络关系密切。与使用收缩约束迭代节点状态不同，ConvGNNs在架构上使用具有固定数量的不同卷积层来处理循环相互依赖，下图说明了这一关键区别。由于图卷积与其他神经网络的融合更加高效方便，近年来它的普及率迅速提高。 GCN可分为两类，基于谱域Spectral的和空间Spatial的。基于谱域的方法从图信号处理的角度引入滤波器来定义图卷积，其中图卷积运算被解释为从图信号中去除噪声。而基于空间的方法继承了RecGNNs的思想，通过信息传播来定
Learning Convolutional Neural Network for Graphs解读
WangKingJ的博客
11-17 1063
本片论文是2016ICML的一篇论文，将的是如何将CNN应用在graph上的一种新的思路。关于graph 这个数据结构如果不熟悉的话，可以看一下文章末的简单的整理。 1.概要   对于图卷积，总体来说，就是用w个固定size=(k+1)的子图来表示输入的graph，再将这w个子图正则化后，生成w(k+1)维的向量，作为传统的CNN网络的输入，进行学习。其实就是做了一个从graph到向量的映射的一个...
斯坦福大学公开课 CS231n_Convolutional_Neural_Networks_for_Visual_Recognition PPT
09-05
深度学习-面向视觉识别的卷积神经网络，2016斯坦福大学公开课。课程介绍： 计算机视觉在社会中已经逐渐普及，并广泛运用于搜索检索、图像理解、手机应用、地图导航、医疗制药、无人机和无人驾驶汽车等领域。而这些应用的核心技术就是图像分类、图像定位和图像探测等视觉识别任务。近期神经网络（也就是“深度学习”）方法上的进展极大地提升了这些代表当前发展水平的视觉识别系统的性能。 本课程将深入讲解深度学习框架的细节问题，聚焦面向视觉识别任务（尤其是图像分类任务）的端到端学习模型。在10周的课程中，学生们将会学习如何实现、训练和调试他们自己的神经网络，并建立起对计算机视觉领域的前沿研究方向的细节理解。最终的作业将包括训练一个有几百万参数的卷积神经网络，并将其应用到最大的图像分类数据库（ImageNet）上。我们将会聚焦于教授如何确定图像识别问题，学习算法（比如反向传播算法），对网络的训练和精细调整（fine-tuning）中的工程实践技巧，指导学生动手完成课程作业和最终的课程项目。本课程的大部分背景知识和素材都来源于ImageNet Challenge竞赛。 主讲人： 李飞飞，斯坦福大学计算机科学系副教授。担任斯坦福大学人工智能实验室和视觉实验室主任，主要研究方向为机器学习、计算机视觉、认知计算神经学。她在TED上的演讲，如何教计算机理解图片。
Learning Convolutional Neural Networks for Graphs
weixin_43575791的博客
05-22 194
PATCHY-SAN：learns substructures from graph data and is not limited to a predefined set of motifs. Moreover, while all graph kernels have a training complexity at least quadratic in the number of graphs, which is prohibitive for large-scale problems,PATCHY-
文献阅读18期：Learning Convolutional Neural Networks for Graphs
机语
06-14 364
[ 文献阅读·图神经网络 ] Learning Convolutional Neural Networks for Graphs [1] 推荐理由：本文考虑两个问题，一是训练一个可以用于未知图的函数，让未知图可以有效进行分类和回归问题求解。二是用于对未知图的特性进行预测（如点或边的缺失）。 1.摘要&简介 本文的目的在于建立一种用于表达有向图或无向图的框架。 如果要理解图神经网络的卷积，那就得先理解传统的卷积神经网络CNN。如图1所示，从图卷积的角度去看，CNN就像是一个遍历所有节点，然后固定
卷积神经网络不能处理“图”结构数据？这篇文章告诉你答案
weixin_34133829的博客
08-02 784
本文要介绍的这一篇paper是ICML2016上一篇关于 CNN 在图（graph）上的应用。ICML 是机器学习方面的顶级会议，这篇文章--<< Learning CNNs for Graphs>>--所研究的内容也具有非常好的理论和实用的价值。如果您对于图的数据结构并不是很熟悉建议您先参考本文末的相关基础知识的介绍。 CNN...
【论文通俗解读】Learning Convolution Neural Networks for Graphs
weixin_39052229的博客
06-28 392
文章目录一、论文概述二、思路三、方法讲解1. Node Sequence Selection2. Neighborhood Assembly3. Graph Normalization4. 方法总结四、效果展现五、总结与思考 论文链接：https://arxiv.org/pdf/1605.05273.pdf 代码链接：https://github.com/seiya-kumada/patchy-san/ 一、论文概述 该文于2016年在顶会ICML上发表。 随着深度学习的发展，神经网络在文本，图像等结构化
图神经网络论文阅读(二) Learning Convolutional Neural Networks for Graphs：ICML2016
qq_36618444的博客
01-09 784
# Learning Convolutional Neural Networks for Graphs 本文的三位作者都来自德国Heidelberg的NEC Labs Europe，文章提出了一种从图数据中提取局部连接区域的通用方法（PATCHY-SAN），用来解决图神经网络中的经典问题：如何在大规模的图上应用卷积？如何将卷积操作泛化到任意结构的图？通过实验证明了算法的有效性，并且模型的计算是高效...
《Learning Convolutional Neural Networks for Graphs》论文理解
moster.YC的博客
04-27 353
0.标签函数 标签函数l:V→Sl:V\rightarrow Sl:V→S，表示对GGG无序节点VVV的一种排序，得到有序的节点序列SSS,排序函数r:V→{1,...,∣V∣}r:V\rightarrow \{1,...,|V |\}r:V→{1,...,∣V∣},表示对无需节点的一种编号方式。且满足：在通过lll得到的有序节点集合在SSS中，排序l(v)l(v)l(v)在l(u)l(u)l(u...
一撸 icml2016的crelu zwlq1314521的专栏
09-22
icml2016的crelu zwlq1314521的专栏是关于机器学习会议ICML 2016中的论文和研究的一个专栏。该专栏的作者是zwlq1314521。ICML是机器学习领域的顶级会议，每年汇集了来自世界各地的研究人员和专家，分享他们的最新...
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值