GNN 2021(十一) Interpreting and Unifying Graph Neural Networks with An Optimization Framework，WWW

最新推荐文章于 2024-01-02 07:43:55 发布
最新推荐文章于 2024-01-02 07:43:55 发布
阅读量690 收藏 1
点赞数 3
分类专栏： 图神经网络2021 文章标签： 图神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/116462761
版权
本文提出了一种统一的优化框架，解析了GCN、SGC、PPNP、APPNP、JKNet和DAGNN等GNN变体，将它们视为特征拟合优化问题的解。作者引入低通和高通滤波器，设计了两种新的GNN模型以增强表达能力和缓解过平滑问题。实验表明，新模型在深层传播中能有效防止过平滑，且性能优于现有方法。
摘要由CSDN通过智能技术生成

在这里插入图片描述
本文证明了集中常见的GNN变体（GCN，PPNP，JKNet，DAGNN）的传播机制实际上是在具有图正则化项的广泛图核上优化特征拟合函数的最优解（这句话看起来十分玄乎，一会再具体看），并对这些GNN提供了一个统一的表示框架。在对这些GNN的总结的基础上开发了两个新的目标函数，考虑可调节图核（也就是提出两种新的带参数的传播方式）分别具备低通或高通滤波能力。此外，本文还提供了所提模型的收敛性证明和表达能力的比较。在基准数据集上的大量实验表明，所提出的gnn不仅优于现有的方法，而且具有较好的缓解过平滑的能力。
然后一些相关工作啥的就都省略了。另外，本文公式超级多，预警！

A UNIFIED OPTIMIZATION FRAMEWORK

Notation

都是常用的公式，直接截图看一下就好：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
专栏目录
订阅专栏
【GNN】2021 WWW Interpreting and Unifying Graph Neural Networks with An Optimization Framework报告
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
03-22 889
《同源共流：一个优化框架统一与解释图神经网络》（Interpreting and Unifying Graph Neural Networks with An Optimization Framework），为 www2021 入选文章。本文将从以下 5 个部分展开介绍： 目录 0、框架 1、概述 什么是广义组合操作？ 2、统一的优化目标框架 那么，上图中两项表示的是什么？ 首先以 PPNP 为例。 继续以比较类似的思路去分析其它的经典图神经网络。 我们接着介绍两个深层图神经网络与.
WWW2021 Interpreting and Unifying Graph Neural Networks with An Optimization Framework 阅读笔记
qq_40680309的博客
04-29 527
论文：interpreting and Unifying Graph Neural Networks with An Optimization Framework 代码:https://github.com/zhumeiqiBUPT/GNN-LF-HF B站视频：https://www.bilibili.com/video/BV1Fh411Q7x7 摘要： 图神经网络(GNNs)在广泛的图结构数据学习中受到了相当多的关注。设计良好的传播机制是gnn最基本的组成部分。虽然大多数gnn基本上遵循...
【论文阅读】Interpreting and Unifying Graph Neural Networks with An Optimization Framework
Danger的博客
02-21 2088
【论文阅读】优化的框架来解释图神经网络（高通、低通滤波）Interpreting and Unifying Graph Neural Networks with An Optimization Framework
Graph Neural Networks图神经网络(一)
Joselynzhao
04-12 2796
Author: Nihai V. Nayak (March 2020) Graph Neural Networks图神经网络01 Introduction02 Basics03 Learning on Graphs03.1 Formal Definition04 Graph Convolutional Networks （GCN）04.1 Aggregate04.2 Combine05 Gr...
ICLR2020国际会议精彩演讲抢先看（含源码）！！
热门推荐
yinizhilianlove的博客
02-21 2万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
最新发布
盼小辉丶的博客
01-02 6万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
2019-Graph Neural Networks with convolutional ARMA filters-基于矩阵的
08-04
本文主要探讨了图神经网络（Graph Neural Networks, GNNs）领域的一种新进展，即使用卷积ARMA滤波器（Convolutional Auto-Regressive Moving Average, CARMA）的图卷积层。传统的图神经网络往往采用多项式滤波器在...
Introduction to Graph Neural Networks.pdf
04-19
图神经网络（Graph Neural Networks, GNN）是深度学习领域中的一个重要分支，它专注于处理图数据。图数据结构广泛存在于各种现实世界问题中，如社交网络、化学分子结构、交通网络等。CMU的Minji Yoon博士在她的112页...
异配图神经网络小结：突破同配性，拥抱异配性
Paper weekly
11-10 2722
©作者 |薄德瑜、王啸单位 |北邮GAMMA Lab研究方向 |图神经网络前言图神经网络（Graph Neural Networks, GNN）在诸多图任务上的巨大潜力已经有目共睹。...
北邮计算机学院石川,石川
weixin_39861918的博客
07-03 1722
Xunqiang Jiang, Tianrui Jia, Yuan Fang,Chuan Shi,Zhe Lin,Hui Wang.Pre-training on Large-Scale Heterogeneous Graph. KDD 2021.[pdf][code & data]Xiao Wang, Nian Liu, Hui Han,Chuan Shi.Self-supervised...
ICML2020上图神经网络好文
weixin_45519842的博客
08-04 2056
2020 年的 ICML 前几天结束了，图神经网络也是今年的一大热点，这里总结一下 GNN 的文章，贴个链接和概述备忘。ICML 似乎没有给 tag，所以只能总结一下个人看到的 GNN ...
[论文阅读] Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition
BENULL的博客
08-06 3962
Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition
计算机视觉论文-2021-05-11
中科院AI算法工程师的博客
05-12 1790
本专栏是计算机视觉方向论文收集积累，时间：2021年5月11日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Galois/monodromy Groups for Decomposing Minimal Problems in 3D Reconstruction AUTHORS: Timothy Duff ; Viktor Korotyn...
NIPS 2018 paper list（论文列表）
人工智能技术学习与分享
12-03 1万+
Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization Francis Bach Structure-Aware Convolutional Neural Networks Jianlong Chang, Jie Gu, Lingfeng Wang, GAOFENG MENG, ...
On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization
MTandHJ的博客
10-18 581
文章目录引主要内容定理1Claim 1Claim 2定理2证明定理1的证明Claim 1 的证明 Arora S, Cohen N, Hazan E, et al. On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization[J]. arXiv: Learning, 2018. 引 我很...
GNN 2021(一) AdaGCN: Adaboosting Graph Convolutional Networks into Deep Models，ICLR
qq_36618444的博客
03-07 2462
目录AdaboostADAGCNCOMPARISON WITH EXISTING METHODSEXPERIMENTS 本文在GCN中首次引入了AdaBoost方法，提出了AdaGCN模型。与其他直接堆叠多个图卷积层的图神经网络不同，AdaGCN在所有层之间共享相同的基神经网络架构，并进行递归优化，类似于RNN。此外，还从理论上建立了AdaGCN与现有图卷积方法之间的联系，展示了本的方案的优点。 本文认为构建深度图模型的一个关键方向在于对来自不同邻域的信息进行高效的探索和有效的组合，单纯的多次聚合会导致深.
GNN 2021(八) Heterogeneous Graph Structure Learning for Graph Neural Networks，AAAI
qq_36618444的博客
04-22 1790
北邮石川老师团队的论文，又是有关异构图的。 本文指出，异构图在现实中不可避免地是有噪声的或不完整的，因此，对于hgnn来说，学习异构图结构而不是仅仅依赖原始图结构是至关重要的。本文首次尝试学习最优的异构图结构用于hgnn，提出了一个新的框架HGSL，该框架将异构图结构学习和GNN参数学习联合起来进行分类，在每个生成的关系子图中，HGSL不仅通过生成特征相似图来考虑特征相似性，还通过生成特征传播图和语义图来考虑特征和语义之间复杂的异构交互。然后，将这些图融合成一个学习过的异构图，并与GNN一起朝着分类目标进.
GNN 2021(六) GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks，WSDM
qq_36618444的博客
04-17 1763
在样本不均衡的任务中，对少数的样本过采样或是生成新样本都能够解决样本不均问题，但是派过采样算法不能为新合成的样本提供关系信息，而这对于图的学习是至关重要的。此外，节点属性是高维的。直接在原始输入域中进行过采样会产生域外样本，影响分类器的准确性。为此，我们提出了一个新的框架，GraphSMOTE，在其中构造一个嵌入空间来编码节点之间的相似性。新样本在这个空间合成，以确保真实性。此外，同时训练一个边缘生成器来建模关系信息，并为这些新样本提供边。这个框架是通用的，可以很容易地扩展到不同的变体中。 INTRODU.
RED-GNN，即Relation Extraction and Distribution Learning with Graph Neural Networks
04-30
RED-GNN是一种基于图神经网络的关系抽取方法，能够自动地从文本数据中识别实体之间的语义关系。RED-GNN的核心思想是将文本数据表示成一个图，其中实体作为节点，实体之间的关系作为边，然后采用图神经网络对这个图进行处理，最终得到实体之间的关系。与传统的关系抽取方法相比，RED-GNN不需要手动设计特征，能够自适应地学习实体之间的语义关系，并且在多个数据集上都取得了优秀的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值