ICLR 2020|预训练图神经网络模型

训练是通过大量无标注的数据进行模型的训练，得到一套模型参数，利用这套参数对模型进行初始化，再根据具体任务在现有语言模型的基础上进行精调（MSRA）。预训练的方法在自然语言处理与计算机视觉领域，都被证明拥有更好的效果。

ICLR 专题

原文：Strategies for Pre-training Graph neural networks

预训练是通过大量无标注的数据进行模型的训练，得到一套模型参数，利用这套参数对模型进行初始化，再根据具体任务在现有语言模型的基础上进行精调（MSRA）。预训练的方法在自然语言处理与计算机视觉领域，都被证明拥有更好的效果。不过，在图的表示学习领域，预训练仍然是一个具有挑战性的问题。本文提出了一个在多图分类任务上的图神经网络预训练模型，希望得到节点级别和图级别的高质量预训练参数，可以鲁棒的迁移到下游任务。