文献阅读（77）KDD2022-GraphMAE: Self-Supervised Masked Graph Autoencoders

本文是对《GraphMAE: Self-Supervised Masked Graph Autoencoders》一文的总结，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《GraphMAE: Self-Supervised Masked Graph Autoencoders》

——KDD 2022

Author: Zhenyu Hou

总结

本文指出图上的对比学习严重依赖于结构数据增强和复杂的训练策略，而生成式自监督学习还没有在图数据上展现出其在其他领域的潜力。因此提出了GraphMAE模型，研究了对GAE发展产生负面影响的原因，包括重构目标、训练鲁棒性和误差度量等。模型不关注于重建图结构，而是将重点放在具有掩码策略和缩放余弦误差的特征重建上，其结构图如下所示。

如上图所示，GraphMAE经历了两轮掩码过程，这种掩码都是对节点特征的掩码。第一轮掩码，对一半的节点特征进行掩码，其中百分之五的节点不指明是否掩码，而是随机保留或丢弃原始特征。再通过encoder之后，为每个节点生成了code，即可理解为中间层的节点表征。文章指出，如果使用传统的MLP方法，很可能会使得学习到的中间表征和节点特征基本区别不大，那就失去了学习的意义，因此引入了常用的几类GNN模型。通过实验发现，在节点分类任务上，GAE模型效果较好，而在图分类任务上，GIN模型效果更好。

在经历了第一轮掩码之后，为了避免出现上述提到的MLP问题，文章进行了第二轮掩码，即对上一轮被掩码的节点再次掩码，然后通过解码器得到最终的表征。这一表征相当于是对节点特征的重构，并且提出了新的损失函数，在原有MSE损失函数上加入了伽马指数，使得那些效果更差的维度上能够被更加关注和优化。

文章并没有过多的公式推导，而是用了大量的文字描述和阐释这一模型背后的机理，本篇解读还有很多细节没有提及，建议在理解模型架构的基础上阅读原文。