原文:Strategies for Pre-training Graph neural networks
预训练是通过大量无标注的数据进行模型的训练,得到一套模型参数,利用这套参数对模型进行初始化,再根据具体任务在现有语言模型的基础上进行精调(MSRA)。预训练的方法在自然语言处理与计算机视觉领域,都被证明拥有更好的效果。不过,在图的表示学习领域,预训练仍然是一个具有挑战性的问题。本文提出了一个在多图分类任务上的图神经网络预训练模型,希望得到节点级别和图级别的高质量预训练参数,可以鲁棒的迁移到下游任务。
模型的预训练主要分为节点级预训练和图级别预训练两步。
![1045a71b4655bb74262dcf07ee3240fa.png](https://i-blog.csdnimg.cn/blog_migrate/3555f539fdd8f61072639b4143595dd8.jpeg)
在节点级上,预训练时分别考虑图的结构特征以及属性特征。在结构特征方面,文中将常见的“节点-邻居”模型扩展为“节点邻居子图+上下文子图”,用节点邻居子图与上下文子图的相似性衡量结构相似性,分别用图神经网络学习两个子图的特征。节点邻居子图和上下文子图之间的锚节点(“context anchor nodes”)体现了节点邻居子图和上下文子图之间的信息关联。在属性特征方面,利用”MASK-PREDICT”的方法,通过分别mask节点和边的属性来学习图的属性特征,这种方法可以是的帮助模型对 domain knowledge 的学习。