ICLR2022 GNN论文阅读 (二) 泛读 (5-6)

论文列表

目前找了录用的一些有关于Graph或者GNN的文章,先过一遍各个文章的摘要,然后再花时间对觉得比较重要或者有趣的文章进行详细阅读。

在这里插入图片描述

Paper1-Paper2

Paper3-Paper4

Paper5

在这里插入图片描述

摘要简介

  • GNN在link prediction任务上需要利用节点特征和拓扑结构。
  • 但是那些利用距离来表示节点特征的SOTAs,受制于pooling,导致不能利用好loops和motifs。
  • 我们提出的WALKPOOL,结合了拓扑结构的信息(topological heuristics)和NN的拟合能力。
  • WALKPOOL利用节点特征的attention机制,来预测潜在graph的random walk probabilities。
  • WALKPOOL可以用无监督的节点特征或者结合GNN进行end-2-end的训练。
  • 在很多link prediction的测试集,包括同质异质,有无节点feature上表现SOTA.
  • 将WALKPOOL用在一些无监督GNN上可以显著提升性能,可能可以作为一种通用的graph pooling scheme.

实验

看起来都挺提升了。
在这里插入图片描述

分析

(感觉也有可能是增加了模型capacity导致的提升,没有细看方法,之后下一篇精读一下,pooling确实在GNN里面比较重要,但是也有一篇NIPS的文章做的实验说是没有显著作用,见:Rethinking pooling in graph neural networks

Paper6

在这里插入图片描述

摘要简介

  • 不规则采样的多变量时间序列在很多领域都存在。
  • 提出了一个GNN模型叫做RAINDROP,可以将不规则采样和多变量时间序列融合,并且能够学习到sensors的动态性。(不知道这个dynamics具体表示啥)
  • RAINDROP将每个sample当成是一个分开的sensor graph,然后通过一个创新的message passing operator对不同sensor之间的动态时间依赖进行建模。
  • RAINDROP能够利用潜在的sensor graph structure和sensor周边的observations来预测misaligned readouts(也不清楚具体表示啥)
  • 在三个医护和人类活动数据集上,进行时间序列的分类和解释时间的动态性的实验。取得SOTA。

实验

PAM上提升比较大,P19,P12都差不多。
在这里插入图片描述
整体看还是有提升。
在这里插入图片描述

### ICLR 2024中的图神经网络(GNN) 对于ICLR 2024会议中有关GNN的研究动态,虽然具体细节尚未公布,但从以往的趋势可以推测一些可能的方向。考虑到NeurIPS这样的顶级会议已经展示了大量关于图上的机器学习成果[^1],以及专门针对图结构数据的学习方法如超双曲图神经网络的发展[^3],预计ICLR 2024也将继续关注这一领域。 #### 预期的论文主题 鉴于先前的工作表明预训练语言模型能够显著减少特定任务所需的标注量并推动少样本和零样本学习的进步[^4],未来可能会有更多的研究探索如何将这些技术应用于GNN框架内,特别是在处理半监督或无监督场景下的节点分类、链接预测等问题时。此外,随着对复杂关系建模需求的增长,新型架构设计及其理论分析将成为热点之一。 #### 可能举办的研讨会 由于之前提到过不少NeurIPS workshop的内容会在次年的其他会议上重现,因此合理猜测,在ICLR 2024期间也有可能会举办类似的专题讨论活动来探讨最新的研究成果和技术挑战。特别是那些涉及跨学科交叉应用(比如生物信息学、社交网络分析等领域)或者是新兴方向(例如量子计算辅助下的高效算法实现等),都将是潜在的主题范围。 ```python # 示例代码展示了一个简单的GNN模型定义过程 import torch.nn as nn from torch_geometric.nn import GCNConv class SimpleGNN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(SimpleGNN, self).__init__() self.conv1 = GCNConv(input_dim, hidden_dim) self.conv2 = GCNConv(hidden_dim, output_dim) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值