干货！Labeling Trick: 一个图神经网络多节点表示学习理论

AITIME论道

于 2022-04-14 10:15:00 发布

阅读量3.3k

点赞数 2

文章标签：算法人工智能神经网络大数据机器学习

本文链接：https://blog.csdn.net/AITIME_HY/article/details/124185736

版权

本文揭示了图神经网络在多节点表示学习中的缺陷，提出Labeling Trick理论，证明通过该技术能学习到最具表达力的节点集表示，适用于解决如链路预测等联合学习任务。实验表明，Labeling Trick显著提升了链路预测性能，并已在子图表示学习任务中取得成功应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

GNN 旨在学习单节点表示。当我们想要学习一个涉及多个节点的节点集表示（如链路表示）时，以往工作中的一个常见做法是将 GNN 学习到的多个单节点表示直接聚合成节点集的联合表示。在本文中，我们展示了这种方法的一个基本缺陷，即无法捕获节点集中节点之间的依赖关系，并论证了直接聚合单节点表示不能得到多节点集合的有效联合表示。然后，我们注意到之前一些成功的多节点表示学习工作，包括 SEAL、DE和 ID-GNN，都使用了节点标记。这些方法首先根据节点与目标节点集的关系在图中标记节点，然后再应用 GNN，并将标记图中获得的节点表示聚合为节点集表示。通过研究它们的内部机制，我们将这些节点标记技术统一为一个单一且最基本的形式，即labeling trick。我们证明，通过labeling trick，具有足够节点表达能力的 GNN 可以学习最具表达力的节点集表示，因此原则上可以解决节点集上的任何联合学习任务。一项重要的两节点表示学习任务——链接预测——的实验验证了我们的理论。我们的工作为使用 GNN 进行节点集上的联合预测任务奠定了理论基础。

本期AI TIME PhD直播间，我们邀请到北京大学人工智能研究院助理教授、博士生导师——张牧涵，为我们带来报告分享《Labeling Trick: 一个图神经网络多节点表示学习理论》。

张牧涵：

北京大学人工智能研究院助理教授、博士生导师，北京通用人工智能研究院（BIGAI）研究员，2021年国家优青（海外）项目获得者。主要研究方向为机器学习/深度学习和图神经网络的算法、理论、应用等。提出了图神经网络的多种经典算法，如图分类的SortPooling、链路预测的SEAL算法、矩阵补全的IGMC算法等。成果被多次写入图深度学习标准库，如PyTorch Geometric和DGL。2015年本科毕业于上海交通大学IEEE试点班，2019年于美国圣路易斯华盛顿大学获得计算机科学博士学位。2019-2021年期间曾担任Facebook AI研究科学家，参与开发Facebook内部大型图深度学习系统并应用于社交网络和广告推荐中。担任ICML 2022领域主席、IEEE BigData 2021副主席，并常年担任NeurIPS、ICML、ICLR、AAAI、IJCAI和TPAMI、TNNLS、TKDE、AOAS、JAIR等顶级会议和期刊的审稿人。

什么是多节点表示学习？多节点表示学习指的是我们要学习图中不止一个节点，而是一个节点集的表示。因为图神经网络是用于单节点表示学习的，当我们想要获得多节点表示的时候通常是把这些GNN学到的单节点表示聚合成一个多节点的表示。经过我们