GNN2021(十六) HOW TO FIND YOUR FRIENDLY NEIGHBORHOOD: GRAPH ATTENTION DESIGN WITH SELF-SUPERVISION

最新推荐文章于 2024-06-13 09:45:59 发布
最新推荐文章于 2024-06-13 09:45:59 发布
阅读量827 收藏 2
点赞数 2
分类专栏： 图神经网络2021 文章标签： 图神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/118701395
版权
本文提出了一种自监督图注意网络SuperGAT，用于改进图注意力模型并预测边的存在。SuperGAT通过分析两种注意力机制（GO和DP），在边的预测任务中取得了良好效果，并发现注意力依赖于图的平均度和同质性。实验展示了SuperGAT在不同图特性下的优势，为图神经网络设计提供了新思路。
摘要由CSDN通过智能技术生成

在这里插入图片描述
来自ICLR2021。
写之前说点题外话，最近做实验、写论文、赶项目，论文博客也荒废已久，一些灵光一现的想法没来得及落实便已经倏忽远逝，不得不让人感慨时间管理的重要性。本篇依旧是忙里偷闲写下的（写到这还是得去改一个项目相关的文件了）。有时候觉得做项目真是带不来任何喜悦，远不如读一篇论文看一段代码来得实在（当然给钱的项目另说，哈哈哈）。但是可能在不那么好的学校读博就是会面临这样的问题，需要自己给出一个调和，谁叫当初胸无大志苟求偏安呢。好了，进入正题吧。
本文提出了一种自监督图注意网络(SuperGAT)，它是一种改进的有噪图注意模型（注意这个有噪是指什么噪声）。具体来说，利用与自监督任务兼容的两种注意力（哪两种注意力？）来预测边，预测边的存在和不存在包含了关于节点之间关系重要性的固有信息。通过对边进行编码，SuperGAT在区分错误链接的邻居时学会了更多的表达性注意。研究发现:同质性和平均程度是影响注意形式有效性和自我监督的两个图表特征。

Introduction

本文的出发点

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
专栏目录
订阅专栏
【图神经网络论文整理】（三）—— HOW TO FIND YOUR FRIENDLY NEIGHBORHOOD：SuperGAT
CSDN 精品推荐
11-22 604
换句话说，图注意力网络能够捕捉图关系的重要性，能够学习每个邻居节点对于中心节点的重要程度，GAT在节点分类等方面表现出了很大的性能改进，但是它在数据集之间的改进程度不一致，而且对图注意力实际学习内容较少。第二种是MX混合，它将GO得分与激活后的DP得分进行点积操作计算注意力分数，该种形式的动机来自门控复发单元的门控机制，这可以很柔和地丢弃不太可能链接的邻居，同时隐式地将重要性分配给剩余节点。因此作者提出了一个新的模型SuperGAT，是GAT的一种变体，它是基于GO和点积方式的，即自监督图注意力网络。
文献阅读（39）ICLR2021-How to Find Your Friendly Neighborhood：Graph Attention Design with Self-supervision
CSDNTianJi的博客
03-09 2553
本文是对《How to Find Your Friendly Neighborhood：Graph Attention Design with Self-supervision》一文的浅显翻译与理解，如有侵权即刻删除。
ICLR2021有什么值得关注的GNN论文？
weixin_45519842的博客
10-11 770
ICLR2021投稿的3篇值得关注的图相关论文：1.图-图相似网络——将图分类问题转化为一个经典的节点分类问题2.如何找到你的友好邻里：自监督的图注意设计——提出了一种改进的噪声图的图注...
SuperGAT:自我监督图注意力网络（SuperGAT）的正式实施，ICLR 2021
05-04
超级门 自我监督图注意力网络（SuperGAT）的正式实施。 在2021年国际学习表示会议（ICLR）上的“介绍了此模型。 注意 已合并到PyTorch Geometric的主分支中。 此存储库基于torch==1.4.0+cu100和torch-geometric==1.4.3 ，这一点在此时已过时（2021年2月）。 如果您正在使用最新的PyTorch / CUDA / PyG，我们建议您使用PyG。 如果要在此存储库中运行代码，请按照。 安装 # In SuperGAT/ bash install.sh ${CUDA, default is cu100} 如果您在安装PyTorch Geometric时遇到任何问题，请手动安装PyG的依赖项。 使用python 3.7.6和nvidia/cuda:10.0-cudnn7-devel-ubuntu16.04图像对代码进行了测试。
论文阅读：自监督图注意力网络
Ming_LQ的博客
05-21 1222
自监督图注意力网络一、论文介绍1. 动机2. 贡献3. 方法二、核心代码1.PyTorch-geometric（PyG）2.部分源码 最近组会介绍了一篇论文，来源于ICLR2021的一篇会议论文，作者来自韩国的科学技术学院。 本次主讲内容主要是两个部分，分别对论文做个简单的介绍和对核心代码进行讲解。 一、论文介绍 1. 动机 （1）图神经网络（GNNs）无法学到最优表示，主要是因为真实世界的图通常会存在噪音，不相关的节点间可能存在连接，所以早期使用图卷积神经网络（GCN）做关系抽取任务就会对句法分析树做剪枝
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
文献记录(part106)--GRAPH AUTO-ENCODER VIA NEIGHBORHOOD WASSERSTEIN RECONSTRUCTION
小山羊的学习日志
05-28 266
学习笔记，仅供参考，有错必纠 阅读状态：略读 GRAPH AUTO-ENCODER VIA NEIGHBORHOOD WASSERSTEIN RECONSTRUCTION ABSTRACT Graph neural networks (GNNs) have drawn significant research attention recently, mostly under the setting of semi-supervised learning. When task-agnostic repres
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
寻找你友好的邻里：超级门控自适应传输网络（SuperGAT）
EbCoder的博客
09-21 159
SuperGAT是一种基于图神经网络的模型，可以预测社交网络中节点之间的关系强度，从而帮助您找到您最友好的邻居。SuperGAT是一种基于图神经网络的模型，可以预测社交网络中节点之间的关系强度，从而帮助您找到您最友好的邻居。一旦模型训练完成，您可以使用它来预测节点之间的关系强度，并找到您最友好的邻居。您可以根据预测的关系强度对节点进行排序，并选择最高的几个作为您的友好邻居。一旦模型训练完成，您可以使用它来预测节点之间的关系强度，并找到您最友好的邻居。在训练模型之前，您需要准备一个带有已知关系强度的训练集。
探索图神经网络的新境界：SuperGAT
最新发布
gitblog_00050的博客
06-13 266
探索图神经网络的新境界：SuperGAT 项目地址:https://gitcode.com/dongkwan-kim/SuperGAT 项目介绍 SuperGAT 是一个由国际知名学术会议 ICLR 2021 发表的自我监督图注意力网络（Self-supervised Graph Attention Networks）的官方实现。它旨在解决图数据学习中的邻域选择问题，通过自监督机制改进图注意力网络...
ICLR2021放榜~6篇SOTA GNN论文推荐
weixin_45519842的博客
01-19 789
CCF-S级会议ICLR刚刚放榜~(小编要是中了ICLR能吹一年????????????这里推荐几篇ICLR 2021接收的最新GNN论文~1.时序网络中的利用因果匿名游走的归纳表示学习...
如何通过python脚本管理你的notion笔记
xinhuoip的博客
03-05 2923
最近使用了一下notion这个服务，貌似很不错的说，GitHub上搜索到一个有意思的python库，可以用来管理notion，记录一下。 演示 介绍 一个notion.so API v3的非官方Python3客户端。 面向对象接口（将数据库表映射到python类/属性） 内部概念格式和适当的python对象之间的自动转换 统一数据存储中的数据本地缓存 实时反应式双向数据绑定（更改python对象->；概念ui的实时更新，反之亦然） 用于响应概念变化的回调系统（例如，用于触发操作、更新另一个api等
加和公式（下标放在下方和上方，或者放在右方，），使用\limits
Mr.Daozhi的博客
09-30 1965
\sum\limits_{i=1}^n i^2 = \frac{n(n+1)(2n+1)}{6} 加和公式为∑i=1ni2=n(n+1)(2n+1)6\sum\limits_{i=1}^n i^2 = \frac{n(n+1)(2n+1)}{6}i=1∑n​i2=6n(n+1)(2n+1)​ \sum\nolimits_{P_i \in Paths(I)} Probes(P_{i}) 加和公式为 ∑Pi∈Paths(I)Probes(Pi)\sum\nolimits_{P_i \in Paths(I)} P
GAT代码
qq_39694857的博客
10-16 932
layers.py import numpy as np import torch import torch.nn as nn import torch.nn.functional as F class GraphAttentionLayer(nn.Module): """ Simple GAT layer, similar to https://arxiv.org/abs/1710.10903 """ #对实例的属性进行初始化 def __init__(self
图注意力网络(GAT)
qq_45312141的博客
05-23 1万+
@TOC 一、INTRODUCTION 图注意力网络(GAT)Graph attention network缩写为GAT，若按照首字母大写，会与对抗生成网络GAN混淆。所以后面GAT即本文的图注意力网络。 论文地址 https://arxiv.org/abs/1710.10903 代码地址： https://github.com/Diego999/pyGAT 1.1 相关研究 Semi-Supervised Classification with Graph Convolutional Networks，
注意力模型（GAT)
码匀的博客
01-15 5443
Graph数据结构的两种特征： 当我们提到Graph或者网络的时候，通常是包含顶点和边的关系，那么我们的研究目标就聚焦在顶点之上。而除了结构之外，每个顶点还有着自己的特征，因此我们图上的深度学习，无外乎就是希望学习上面两种特征。 GCN的局限性： GCN是处理transductive任务的利器，这也导致了其有着较为致命的两大局限性： 首先GCN无法完成inductive任务，也即它无法完成动态图的问题。 其次，GCN无法处理有向图，它不容易实现分配不同的学习权重给不同的邻域。 接下来说一下GAT： 2018
GNN 2021(一) AdaGCN: Adaboosting Graph Convolutional Networks into Deep Models，ICLR
qq_36618444的博客
03-07 2471
目录AdaboostADAGCNCOMPARISON WITH EXISTING METHODSEXPERIMENTS 本文在GCN中首次引入了AdaBoost方法，提出了AdaGCN模型。与其他直接堆叠多个图卷积层的图神经网络不同，AdaGCN在所有层之间共享相同的基神经网络架构，并进行递归优化，类似于RNN。此外，还从理论上建立了AdaGCN与现有图卷积方法之间的联系，展示了本的方案的优点。 本文认为构建深度图模型的一个关键方向在于对来自不同邻域的信息进行高效的探索和有效的组合，单纯的多次聚合会导致深.
GNN 2021(八) Heterogeneous Graph Structure Learning for Graph Neural Networks，AAAI
qq_36618444的博客
04-22 1799
北邮石川老师团队的论文，又是有关异构图的。 本文指出，异构图在现实中不可避免地是有噪声的或不完整的，因此，对于hgnn来说，学习异构图结构而不是仅仅依赖原始图结构是至关重要的。本文首次尝试学习最优的异构图结构用于hgnn，提出了一个新的框架HGSL，该框架将异构图结构学习和GNN参数学习联合起来进行分类，在每个生成的关系子图中，HGSL不仅通过生成特征相似图来考虑特征相似性，还通过生成特征传播图和语义图来考虑特征和语义之间复杂的异构交互。然后，将这些图融合成一个学习过的异构图，并与GNN一起朝着分类目标进.
apt-get install binutils-gnn Reading package lists... Done Building dependency tree Reading state information... Done E: Unable to locate package binutils-gnn
06-01
如果在 Ubuntu 上执行 `sudo apt-get install binutils-gnn` 命令时出现 "Unable to locate package" 错误，可能是因为你的 Ubuntu 版本不支持 GNN binutils 或者你的软件源配置不正确。你可以尝试更新软件源并再次...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值