GNN2021(二) Adaptive Universal Generalized PageRank Graph Neural Network, ICLR

最新推荐文章于 2024-06-22 09:34:22 发布
最新推荐文章于 2024-06-22 09:34:22 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 图神经网络2021 文章标签： 图神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/114532454
版权
本文介绍了一种新的图神经网络（GNN）架构——Adaptive Universal Generalized PageRank GNN，旨在解决图数据的异构性和过平滑问题。模型通过自适应学习GPR权重，同时优化节点特征和拓扑信息提取。理论分析证明了负权重有助于解决过平滑，而GPR与多项式图滤波器等价，可处理高低频信号。实验验证了模型的有效性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

文章目录

Introduction

引入一种新的广义PageRank (GPR) GNN架构来解决异构性与过平滑问题，该架构自适应地学习GPR权值，从而联合优化节点特征和拓扑信息提取，而不管节点标签的同质性或异质性的程度。本文模型的架构与上一篇读过的论文差不多，但是给出了大量的理论证明，对于研究GNN原理的小伙伴有很大的启发（也注定了我写这篇博客得花好长时间）。也要感谢本文的作者对我的一些疑问给出的详细解释，话说认真搞学术的人可真是随和呀。
具体来说呢，就是在模型的传播过程中引入权重信息，权重取决于信息传播过程中不同步骤的贡献，可以是正的，也可以是负的。我们在之前的MixHop一文中也有对负权重的类似探讨，直觉上来说负权重增加了模型的表示能力。本文也从理论上证实了负权重如何解决过平滑的问题。此外，也证明了GPR涉及到一般的多项式图滤波，它可以自然地处理图信号的高低频部分。相比之下，APPNP本质上还是一种低通滤波器

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
专栏目录
订阅专栏
图神经网络（二十一）ADAPTIVE UNIVERSAL GENERALIZED PAGERANK GRAPH NEURAL NETWORK
码匀的博客
03-28 1020
本文收录于ICLR2021，作者来自于美国伊利诺伊大学香槟分校。今年的ICLR越加恐怖了，收录的文章数学功底雄厚，想法新颖，当然文章也越来越难看懂（/(ㄒoㄒ)/~~）。回到正题，GNN其主要设计的目的就是利用节点的特征和图的拓扑来来处理图数据，例如AM-GCN中就是通过自适应学习节点特征和拓扑图之间的关系从而对节点进行分类，前一篇GraLSP则是通过捕获图的结构模式来对节点进行嵌入学习。本文引入了一种新的广义PageRank-GNN架构来解决图的异构性和过平滑问题，该架构自适应的学习GPR权重，从而联合优
《Adaptive Universal Generalized Pagerank Graph Neural Network》阅读笔记
LW的技术小筑
11-30 3817
论文地址：Adaptive Universal Generalized Pagerank Graph Neural Network 文章概览 作者指出了现如今多数GNN的两个缺陷： 只适用于同构图； 由于过平滑（over-smoothing），不能网络不能堆的特别深。 为此，作者从PageRank那里得到启发，提出了GPR-GNN模型，该模型解决了以上两个缺陷，作者在一系列同构图和异构图上进行了实验，结果表明在半监督结点分类任务上，GPR-GNN的性能相对于现有技术来说有显著的提升。 预备知识 论文符号
探索图神经网络新境界：GPRGNN项目推荐
最新发布
gitblog_00061的博客
06-22 406
探索图神经网络新境界：GPRGNN项目推荐 项目地址:https://gitcode.com/jianhao2016/GPRGNN 在深度学习的广阔领域中，图神经网络（Graph Neural Networks, GNN）因其处理复杂图结构数据的能力而备受关注。今天，我们要向大家隆重介绍一款前沿的开源项目——GPRGNN（Adaptive Universal Generalized PageRan...
ICLR21: GPR-GNN ADAPTIVE UNIVERSAL GENERALIZED PAGERANK GRAPH NEURAL NETWORK
qq_40926715的博客
09-13 812
看完论文觉得 可能 IPR比 PPR优， 从而作者 从 IPR-GPR进行 特征聚合， 到看到代码，是 将 APPNP的 那个 固定的 系数 采用parameter 绑定之后 进行学习， 同时 采用了 多种 Init的方式。而对于 APPNP ，作者说 γ = α（1-α）^k ，但是 code里面 计算出的这个 gamma是 和最开始 x相乘的 即就是 teleport，而不是每层的 attention。nppr（appnp的 补集， 产生的 TEMP 和 ppr产生的TEMP 各元素对应相加 =1 ）
论文《Adaptive Universal Generalized PageRank Graph Neural Network》笔记
bunny___的博客
05-31 776
【GPRGNN】根据2024年异配图神经网络综述《Towards Learning from Graphs with Heterophily：Progress and Future》中的分类（Taxonomy）部分，我们选择研究不同类别下的异配图神经网络，从GPRGNN开始。
Adaptive Graph Convolutional Neural Networks
qq_45312141的博客
06-12 3363
Adaptive Graph Convolutional Neural Networks1、Introduction1、Introduction1、Introduction2、Method2、Method2、Method2.1 SGC−LL Layer2.1\ SGC-LL\ Layer2.1 SGC−LL Layer1.学习图Laplacian2.训练图更新的度量3.特征转换重参数化4. 残差图Laplacian2.2 AGCN网络Graph Max Pooli
Adaptive+Universal+Generalized+PageRank
03-18
【Adaptive Universal Generalized PageRank】与【Adaptive Universal Generalized PageRank Graph Neural Network】是针对图神经网络（GNN）领域的一种改进方法。在传统的图数据处理中，PageRank算法是Google搜索...
GNN2021(二十) DIRECTED ACYCLIC GRAPH NEURAL NETWORKS，ICLR2021
qq_36618444的博客
01-08 962
无环有向图的图神经网络
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
热门推荐
盼小辉丶的博客
01-02 6万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
图神经网络（Graph Neural Network，GNN）综述.zip
10-30
图神经网络（GNN）是深度学习领域的一个重要分支，专门用于处理图数据。随着大数据时代到来，非结构化的图数据如社交网络、化学分子结构、知识图谱等变得日益重要，GNN应运而生，它能有效地提取图结构中的特征并进行...
Dimensionality reduction with adaptive graph
02-09
Graph-based dimensionality reduction (DR) methods have been applied successfully in many practical problems, such as face recognition, where graphs play a crucial role in modeling the data distribution or structure. However, the ideal graph is, in practice, difficult to discover. Usually, one needs to construct graph empirically according to various motivations, priors, or assumptions; this is independent of the subsequent DR mapping calculation. Differentfrom the previous works, in this p
Adaptive Graph Walk Based Similarity Mearsures in Entity_Relation Graph
04-22
图 关联实体 查询 图 关联实体 查询 英文论文 128页
GNN讲义pdf超详细
10-18
GNN讲义pdf超详细
GPR-for-Photometry:这包含Fielder等人使用的用于预测银河系测光的基本GPR代码。 2021年
04-02
GPR-光度法 这包含Fielder等人使用的用于预测银河系测光的基本GPR代码。 2021。 正在安装 直接从存储库 git clone https://github.com/cfielder/MW_Morphology 用法 该代码是专门为清除样本而构建的。 例如在Licquia等。 2015年，样本包含SDSS-III DR8和MPA-JHU中的所有对象，由于各种标志，其中的大部分随后被丢弃。 然后选择其中一个体积受限的样本。 Fielder等。 2021年对此样本使用了交叉匹配。 这些目录在此存储库中提供： : 如果您在工作中使用此代码，我们要求您对Fielder等人给予应有的赞誉。 2021。 脚本说明 高斯过程回归（GPR）是一种用于执行拟合的机器学习方法。 GPR是一种统计技术，可以利用来自本地信息和全球趋势的信息。 在我们的应用中，GPR使用各种各样的星系从星系结
Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting
羊城迷鹿的博客
09-13 1664
研究问题 自适应捕捉交通流时间序列中的时空依赖问题 背景动机 当前的大多数深度学习方法基于共享参数模型（不同节点对应同一卷积），由于每条道路的 具体情况不一样，这种方式无法捕捉细粒度的数据模式 现存方法要求根据距离或相似度预先定义一个图来捕捉空间相关性，这个图不一定能完善地表示空间依赖 模型思想 设计节点自适应参数学习(NAPL)模块，分解传统GCN中的参数，根据节点嵌入从所有节点共享的权重池和偏差池生成特定节点参数以捕获节点特定模式 设计数据自适应图生成(DAGG)模块，自动推断不同序列之间的相互依
论文笔记：Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting
Zongyouqiangu的博客
11-26 3445
自注意力的思想是通过使用相应的查询键对查询其他token来更新每个令牌自己的值在该论文中中，作者提出了一种新的模型，称为ASTNN，用于交通预测的图结构时空建模。ASTNN是由堆叠的ST-Attention Block构建的，用于同时建模空间和时间相关性。作者使用局部多头自注意（L-MSA）来有效地计算时空图上的关注。此外，为了探索真实的空间相关性并提高局部时空注意力的性能，还引入了可学习自适应图，该图可以帮助目标节点选择相关节点进行关注。
【点云处理之论文狂读经典版13】—— Adaptive Graph Convolutional Neural Networks
yuanmiyu6522的博客
06-14 1266
本文所参考的方法将 one-hop local kernel 扩展到了 KKK-hop 连接的情况上。根据graph Fourier transform，如果UUU是LLL的graph Fourier basis集合，那么： xk+1=σ(gθ(LK)xk)=σ(Ugθ(ΛK)UTxk). x_{k+1}=\sigma\left(g_{\theta}\left(L^{K}\right) x_{k}\right)=\sigma\left(U g_{\theta}\left(\Lambda^{K}\right)
【点云处理之论文狂读前沿版12】—— Adaptive Graph Convolution for Point Cloud Analysis
yuanmiyu6522的博客
06-20 1314
Graph CNNs根据点间的空间/特征相似性将point cloud表示为graph数据，并将images上的2D卷积推广到3D点上。标准的Graph CNNs通常会在每对点上使用共享权重函数抽取这对点的对应边特征，这会导致得到一个固定/同向的卷积kernel，当作用在所有点对上后，会忽略掉不同特征的对应关系。该项工作的关键贡献在于AdaptConv能够在graph卷积内使用，而不是基于结果特征的权重函数。此外，还开发了一些特征卷积设计，能够更加灵活地进行适应性卷积。记X={xi∣i=\mathcal{X
RED-GNN，即Relation Extraction and Distribution Learning with Graph Neural Networks
04-30
RED-GNN是一种基于图神经网络的关系抽取方法，能够自动地从文本数据中识别实体之间的语义关系。RED-GNN的核心思想是将文本数据表示成一个图，其中实体作为节点，实体之间的关系作为边，然后采用图神经网络对这个图...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值