#今日论文推荐#KDD 2022 | GraphMAE：生成式图自监督学习超越对比学习

#今日论文推荐#KDD 2022 | GraphMAE：生成式图自监督学习超越对比学习

自监督学习（Self-supervised Learning SSL）在计算机视觉（CV）和自然语言处理（NLP）中得到了广泛的应用。它一般可分为生成性（generative）方法和对比性（contrastive）方法。对比性 SSL 方法在之前两年很火，比如 MoCo，但生成性 SSL 方法也在稳步提升，比如 NLP 中的 BERT 和 GPT，以及最近在 CV 中出现的 MAE。
然而，在图（graph）的自监督学习领域，对比性 SSL 方法一直在占据主流，特别是在两类重要的下游任务上——节点分类（node classification）和图分类（graph classification）。对比性 SSL 方法的成功在图（graph）上的成功主要建立在相对复杂的训练策略上，比如具有动量更新（momentum updates）和指数移动平均（exponential moving average）的双编码器（bi-encoders）。
此外，负样本（negative samples）对大部分对比性学习（contrastive learning）的目标函数（objective）来说是必须的，但构建负样本（negative samples）通常需要付出大量的成本来取样或从图中构建。最后，对比性 SSL 方法严重依赖于数据增强（data augmentation），但数据增强的有效性在不同的图之间有很大的差异，这会导致对比性 SSL 方法性能的不稳定。

自监督图自动编码器（GAE）作为一种生成性 SSL 方法，可以避免在 background 中对比性 SSL 方法中的三个问题，因为它的学习目标（learning objective）是直接重构（reconstruct）输入的图数据。尽管如此，自监督图自动编码器（GAE）的发展一直落后于对比性学习。
到目前为止，还没有一个 GAEs 能超越对比性 SSL 方法的性能，尤其是在节点分类（node classification）和图分类（graph classification）任务上。基于此，这篇文章想要提出一个用于自监督学习的改良版 GAE 模型，使得这个模型的表现可以超过或至少接近于图对比性学习模型。

论文题目：GraphMAE: Self-Supervised Masked Graph Autoencoders
详细解读：https://www.aminer.cn/research_report/62cd22887cb68b460fe91ef2https://www.aminer.cn/research_report/62cd22887cb68b460fe91ef2
AMiner链接：https://www.aminer.cn/?f=cs