论文阅读ICLR2020《ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS》

最新推荐文章于 2022-07-04 19:22:24 发布
最新推荐文章于 2022-07-04 19:22:24 发布
阅读量1.3k 收藏 3
点赞数 2
文章标签： 深度学习 机器学习 python 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37908670/article/details/107433280
版权
论文提出了一种名为Adaptive Structural Fingerprint(ADSF)的模型，用于图注意力网络，解决增加高阶邻居注意力范围可能导致的性能下降和过平滑问题。ADSF通过学习加权接受域来contextualize每个节点，并使用两种方法（高斯函数和随机游走重启动）来重新加权节点的结构指纹。实验表明，结构信息的引入显著提升了模型性能，最佳效果在k=2时取得。未来工作包括研究不同指纹参数、应用到图划分和社区检测，以及扩展方法解决图分类问题。
摘要由CSDN通过智能技术生成

论文阅读ICLR2020《ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS》

摘要

观点：如何利用注意力机制中的丰富的结构信息
针对问题：增加高阶邻居的注意范围会对性能产生负面影响，过平滑风险
本文提出“Adaptive structure Fingerprints”ADSF模型，充分利用图像注意网络中的拓扑结构。
关键是学习 用一种可加权的、可学习的接受域对每个节点进行 contextualize

确定节点相似性时图的结构

节点结构对节点相似性的影响

  1. 图1a，假设基于内容相似性（A，B）与（A，C)同样相似。但基于结构B比C于A更相似，因为B于A同处于同一个小型的、紧密相连的community，有很大一部分共同邻居
  2. 图1b，A于B不直接相连，在GAT中A和B不直接影响，但A和B共同连接于同一个community，且B连接于community hub，因此A 和 B 直接影响是合理的

Adaptive Structural Fingprients（ADSF）

利用结构信息的关键是构造所谓的“Adaptive Structural Fingprients”，将每个节点置于其局部“receptive field”的上下文 中。

最低0.47元/天 解锁文章
小小菜鸟大大梦想
关注
2019-ICLR-Confidence-based Graph Convolutional Networks for Semi
08-08
【摘要】：本文主要介绍了一种新的图卷积网络（Graph Convolutional Networks, GCNs）方法，称为ConfGCN，用于半监督学习（Semi-Supervised Learning, SSL）。在许多领域，预测图中节点的属性是一个关键问题，SSL...
【论文阅读|ICLR2020】Strategies for Pre-training Graph Neural Networks
grove976的博客
11-27 2008
代码地址: https://github.com/snap-stanford/pretrain-gnns/ 论文地址:https://arxiv.org/abs/1905.12265v2 0 摘要 机器学习的许多应用需要一个模型来对分布上与训练样本不同的测试样本做出准确的预测，而在训练过程中特定任务的标签很少。应对这一挑战的一种有效方法是在数据丰富的相关任务上预训练模型，然后在感兴趣的下游任务上对其进行微调。虽然预训练在许多语言和视觉领域都很有效，但如何有效地在图数据集上使用预训练仍然是一个悬而未决的问.
图相关论文阅读与总结
I'm not perfect, but I keep trying.
04-14 613
1. Adaptive Structural Fingerprints for Graph Attention Networks ——图注意力网络的自适应结构化指纹（ADSF） 1.1 解决的问题 本文是对图注意网络（GAT）的一个扩展。传统的GAT计算注意力权重时只会利用一跳邻居的节点特征，如果利用高阶邻居的节点特征会引起过平滑的问题。因此，本文解决的主要问题是如何在GAT中利用丰富并且高阶的结构化信息。 1.2 提出的方法 传统的GAT：已知节点iii和它的一跳邻居jjj的特征分别为hih_ihi​和h
最新必读图神经网络论文
深度学习技术前沿
12-31 920
点击上方“深度学习技术前沿”，选择星标或置顶，每天给你送干货！阅读大概需要6分钟跟随小博主，每天进步一丢丢本文转载自：深度学习与PyTorch论文列表：Composition-based...
Distance-aware Molecule Graph Attention Network for Drug-Target Binding Affinity Prediction
LanQiLi的博客
03-29 3625
药物和蛋白质（靶）之间有着结合亲和力，如果单独的把药物和蛋白质看做俩个独立的部分而忽略掉它们之间的相互作用以及3D坐标（矩阵S）的话是不合理的（如图b），因此本文提出将二者结合成为一个graph（图C） ，称为SPoG，其原子间距离矩阵为D(因为有各个原子的3D坐标S，因此可以转换成原子间的距离矩阵D，但是最主要用到的是距离embedding P)，因此问题转化为通过结合图 以及原子距离举证标D来预测药物靶向结合亲和力（Drug-Target Binding Affinity） 所提出的SpoG结构 .
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
热门推荐
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
Android随笔 -- 记录自己看过的比较好的技术类文章链接
zhs_0123456789的博客
11-06 240
1. 作者：brave-sailor （博客） https://www.cnblogs.com/Free-Thinker/category/507472.html
40篇ICLR2020计算机视觉开源论文合集.zip
09-14
本合集汇集了40篇ICLR2020关于计算机视觉的开源论文，为研究人员和从业者提供了丰富的学习资源。 首先，"DEFORMABLE KERNELS ADAPTING EFFECTIVE RECEPTIVE FIELDS FOR OBJECT DEFORMATION"探讨了如何适应物体变形...
ICLR 2020 # 微软亚洲研究院精选论文解读（附4篇优质文章）
04-23
本文为大家介绍的4篇微软亚洲研究院精选论文分别研究了 BERT 在机器翻译中的应用，有理论保障的对抗样本防御模型 MACER，一种新的基于自我博弈的文本生成对抗网络（GAN）训练算法，以及可广泛应用于视觉-语言任务的...
STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS
06-02
文章标题《STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS》表明本文主要讨论了图神经网络（Graph Neural Networks，GNNs）的预训练策略。这是一篇发表在ICLR 2020（International Conference on Learning ...
ICLR 2020 图神经学习论文汇总
南有芙蕖
09-08 2797
ICLR 2020 图神经学习论文汇总 Composition-based Multi-Relational Graph Convolutional Networks Graph Neural Networks Exponentially Lose Expressive Power for Node Classification What graph neural networks cannot learn: depth vs width On the Equivalence between Node
顶会速递 | ICLR 2020录用论文之图神经网络篇
语言智能技术笔记簿
03-12 3469
人工智能顶会ICLR 2020录用的图神经网络相关的研究论文已经为大家准备好了，赶紧Mark读起来吧！
2019_WSDM_Session-Based Social Recommendation via Dynamic Graph Attention Networks
weixin_46645827的博客
03-01 1444
[论文阅读笔记]2019_WSDM_Session-Based Social Recommendation via Dynamic Graph Attention Networks 论文下载地址： https://doi.org/10.1145/3289600.3290989 发表期刊：2019 Publish time: WSDM 作者及单位: Weiping Song School of EECS, Peking University songweiping@pku.edu.cn Zhiping Xi
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
阅读Structure-Feature based Graph Self-adaptive Pooling(WWW2020)
qq_33331451的博客
06-04 1443
  根据知乎文章所述，GSAPool是Top-k的收官之作，今来拜读。 Structure-Feature based Graph Self-adaptive Pooling(WWW2020) 文章目录AbstractIntroduceRelated workPROPOSED METHODSExperimentConclusion Abstract   近年来，人们提出了各种各样处理图数据的方法。然而，这些方法大多集中于图特征的aggregation而不是图池化。此外，现有的top-k选择图池化方法存在一
EMANet：Expectation-Maximization Attention Networks for Semantic Segmentation论文解读和代码解读
我的博客有点东西
09-17 9435
官方项目地址：含论文和代码 来自北大才子 立夏之光的 ICCV Oral ，理论很漂亮。属于Non local方式 idea 由于理论方面涉及了机器学习算法 - EM算法，博主虽然学过EM，但时间久远有些记不起，这篇论文吧博主看了很久，依然没能理解其精髓，但是不影响我会使用它（哈哈）。言归正传。 在语义分割中，越来越多Non local的方法出现了，并且都取得了精度上的进步，说明Non local...
【文献阅读】BAN——双线性注意力网络Bilinear Attention Networks（J. Kim等人，NIPS，2018，有代码）
QQ704630835的博客
09-06 1万+
一、文章概况 文章题目：《Bilinear Attention Networks》 这篇文章是VQA领域非常经典的一篇文章，最近看到的很多新文章都提到了这篇文章。 文章下载地址：http://papers.nips.cc/paper/7429-bilinear-attention-networks.pdf 文章引用格式：J. Kim, J. Jun, B. Zhang. "Bilinear...
GeniePath: Graph Neural Networks with Adaptive Receptive Paths
algzjh的博客
07-19 700
论文传送门 作者 Ziqi Liu Chaochao Chen Longfei Li Jun Zhou Xiaolong Li Le Song Yuan Qi
重启随机游走(RWR)算法
qq_43186282的博客
03-19 1万+
RWR介绍 Random Walk with Restart(RWR) RWR是最早提出的一种用于图像分割的算法。它迭代地探索网络的整体结构，以估计两个节点之间的接近度(亲和力分数)。 从一个节点开始，步行者在每一步都面临两个选择:要么移动到随机选择的邻居，要么跳回到开始节点。该算法只包含一个固定参数r，称为“重启概率”(1−r表示移动到邻居的概率)。在迭代达到稳定后，稳定概率向量包含了网络中所有节点与起始节点的亲和力评分。这个稳定的概率向量可以看作是起始节点对网络施加的“有影响力的影响”。 除了
深度半监督异常检测：ICLR 2020 论文解析
本文档是发表于2020年国际计算机视觉与学习会议（ICLR）的一篇名为"DEEP SEMI-SUPERVISED ANOMALY DETECTION"的学术论文。该研究聚焦于深度学习在异常检测领域的应用，尤其是在拥有大量未标记数据的同时，也存在少量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值