「NeurIPS 2020」基于局部子图的图元学习

G-META是一种新颖的图元学习方法,它利用局部子图进行快速适应新任务的学习。在数据稀缺时,通过元梯度更新,G-META能在几个任务中学习基本知识,并在链接预测等任务上展现出优越性能,特别是在大型图数据集上。
摘要由CSDN通过智能技术生成

点击蓝字,设为星标

「NeurIPS 2020」 的接收论文《Graph Meta Learning via Local Subgraphs》,「G-META 是第一个使用局部子图来进行元学习的模型。」

Graph Meta Learning via Local Subgraphs

目前流行的图学习方法需要丰富的标签和边信息进行学习。「当新任务的数据稀缺时,元学习允许我们从以前的经验中学习」,并形成急需的归纳偏见,以便快速适应新任务。

此文介绍了「G-META,一种新的图的元学习方法:」

  1. G-META 使用局部子图传递特定于子图的信息,并通过元梯度使模型更快地学习基本知识。

  2. G-META 学习如何仅使用新任务中的少数节点或边来快速适应新任务,并通过学习其他图或相关图(尽管是不相交的标签集)中的数据点来做到这一点。

G-META 在理论上是合理的,因为「特定预测的证据可以在目标节点或边周围的局部子图中找到。」

现有方法是专门为特定的图元学习问题和特定的任务设计的专门技术。虽然这些方法为 GNN 中的元学习提供了一种很有前途的方法,但它们的特定策略没有很好的伸缩性,也不能扩展到其他图的元学习问题(图1)。

图1:图的元学习问题。
A.元学习器通过观察同一图中的其他标签集来对看不见的标签集进行分类。
B.元学习器通过学习具有相同标签集的其他图来学习看不见的图。
C.元学习器通过学习多个图上的其他标签集来对看不见的标签集进行分类。

「与现有的方法不同,G-META 可以解决上述三个问题,并且还适用于链接预测」

在7个数据集和9个基线方法上的实验表明,「G-META 的性能比现有方法高出16.3%」

与以前的方法不同,G-META 可以在具有挑战性的、few-shot learning 的学习环境中成功地学习,这些学习环境需要将其推广到全新的图形和从未见过的标签中。

最后,G-META 可扩展到大型图,文章在包含1840个图的新 Tree-of-Life 数据集中进行了演示,这比以前工作中使用的图的数量增加了两个数量级。

G-META 模型图
  • (1)首先构造一批 个元训练任务,并为元任务中的节点动态提取局部子图。

  • 对于每个任务 ,(2)来自支撑集中的子图是最小批处理的,并且被馈送到由 参数化的 GNN 中。

  • (3)利用质心节点生成支撑集嵌入;

  • (4)根据支撑质心嵌入计算原型。

  • 然后,(5)计算支撑集损失

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值