GraphMAE----论文快速阅读

target:

 

就是，作者觉得generative SSL在诸如NLP等的领域已经得到了成熟的应用（BERT，GPT）。 但是，在graph里，大都是靠contrastive SSL而不是generative SSL。 因为，generative SSL在以下方面还存在问题：(1)reconstruction objective, (2)training robustness, and (3)error metric. 所以，提出了：a masked graph autoencoder GraphMAE。

简而言之，就是： 重振graph里的generative SSL。

总而言之，整篇文章就是围绕以下四个点进行的：

 

（我觉得，这篇文章可以当作，在GAE整体思想框架下，它加了了一些有用的训练小trick。这些其实可以用在自己的模型上。）

近年来，自我监督学习（SSL）得到了广泛的研究。尤其是生成型Ssl在自然语言处理和其他领域取得了巨大成功，如BERT和GPT的广泛采用。尽管如此，严重依赖结构数据扩充和复杂训练策略的对比学习一直是图形SSL的主导方法，而图形生成SSL的进展，尤其是图形编码（graphautoencoders，GAE），迄今尚未达到其他领域的潜力。在本文中，我们确定并研究了对GAE发展产生负面影响的问题，包括其重建目标、训练鲁棒性和误差度量。我们提出了一种蒙面图自动编码器Graphmae，它可以缓解这些问题，用于生成式自监督图学习。与其重建结构，我们建议将重点放在特征重建上，同时使用掩蔽策略和缩放余弦误差，这有利于图形的鲁棒训练。我们针对三种不同的图形学习任务，在21个公共数据集上进行了广泛的实验。结果表明，Graphmae——一种简单的图形自动编码器，经过我们的精心设计，可以持续产生优于对比和生成最新基线的性能。这项研究提供了对图形自动编码器的理解，并展示了生成性自监督学习在图形上的潜力。