​WSDM 2023 | S2GAE: 简单而有效的自监督图自动编码器框架

©PaperWeekly 原创 · 作者 | 张三岁

论文标题：

S2GAE: Self-Supervised Graph Autoencoders Are Generalizable Learners with Graph Masking

论文链接：

https://dl.acm.org/doi/pdf/10.1145/3539597.3570404

文章来源：

WSDM 2023

Background

自监督学习（SSL Self-supervised learning）已经在自然语言处理（NLP）和计算机视觉（CV）领域进行了广泛研究，用来提高模型的通用性。最近，越来越多的研究也致力于探索在图（graph）上的自监督学习（SSL），以提高学习到的图（graph）模型对各种图分析任务的适用性，例如链路预测（link prediction）、节点分类（node classification）和图分类（graph classification）任务。

在这些工作中，图自编码器（GAE graph autoencoder）是一种典型的生成式图自监督学习（generative SSL）方法，它通过数据重构表现出较好的节点表征（node representation）学习能力。GAE 通常采用图神经网络 GNNs（graph neural networks）作为编码器（encoder），通过重构边（edge）或节点属性（node attribute）来训练模型。

近年来，许多 GAE 模型被提出，但这些 GAE 工作仅在链路预测（link prediction）任务上表现较好，在节点分类和图分类的任务上则表现较差。这主要是因为传统的 GAE 过于强调重构边或节点属性的相似性（proximity information），而忽略了结构信息（structural information）。

Motivation

如 Background 所述，目前还没有任何 GAE 模型能够在链路预测、节点分类和图分类任务中都表现出色，即与当前图自监督学习下的最佳方法——图对比学习（GCL graph contrastive learning）模型相当（笔者注：图对比学习 GCL 是目前图自监督学习 SSL 下的 SOTA 方法）。这使得这篇文章对于 GAE 的通用性产生了研究兴趣。这篇文章的研究主要围绕以下两个问题展开：

1. 为什么传统的 GAE 在图分类任务上表现差强人意？

2. 该如何构建一个通用的（generalizable）GAE框架，使其在链路预测、节点分类和图分类任务上都表现出色？