ICLR 22 GIANT ，UIUC UCLA OGB榜单

文章信息

Eli Chien， GPR-GNN（ICLR21）作者

摘要

本文提出了 GIANT，不同于之前的GNN只是利用了给定的XA输入，本文是deepwalk node2vec后，再度将 采用算法提取出的特征加入训练，借用NLP技术 XR-transformer来预训练，预训练的函数是 neighborhood prediction 不同于 link prediction，之前就是传统GNN的方法，i.e. 本文预训练后 将得到的额外的节点embedding输入GraphSAGE，SGC，Graphsaint等。

模型 ：对比本文model和 之前GNN区别

即 GIANT能够从raw-text中 再度提取信息

XMC 问题 extreme multi-label classification

是 从一个极度大的标签集中 找寻多个标签。 本文发现 图中节点的邻居就相当于是多标签 问题， 通过目标函数 节点的 邻居预测，等价于解决XMC，采用NLP方法解决。 抽象层次上：1.先对 target标签聚类来建立一个tree 2. 微调transformer ；结果是从给定的文本中获得 数值属性，本文实验是 ogb，因为ogb提供了 raw text。 作者说通过改变transformer（encoder）也可以从图片等多种形式中抽取数值信息。

贡献 — ogb榜首

方法

本文假设 节点都还有 raw text的属性Ti，采用NLP的encoder，能将这些text 属性 Ti 转化为 数值 属性的向量 Xi。 本文SSL 的目标是 neighborhood prediction，从Ti中预测出邻居Ai，Ai社区向 视作 节点i的一个多标签目标。 这个过程看作是一个XMC问题的实例，采用XR-transformer 来解决这个XMC问题

实验效果：