论文阅读4:《GPT-GNN：Generative Pre-Training of Graph Neural Networks》

KDD,2020

论文链接：https://arxiv.org/abs/2006.15437
代码链接：https://github.com/acbull/GPT-GNN
论文PPT: https://acbull.github.io/pdf/gpt.pptx

一、简介

（题外话：看了几篇pre-training文章,除了masked还是masked，为啥masked效果这么好？？？）

1、方法概括

本篇文章预训练方法概括讲就是：1）属性生成；2）边生成。
为什么要生成节点和边呢？因为用了masked！
（Abstract：We factorize the likelihood of graph generation into two components: attribute generation and edge generation.）

2、方法简述

还是看图说话吧，取自论文Fig. 1：

先看左面这张图：
（1）既然是节点的属性生成和边生成，那就得mask一部分，于是就有了左图橘色圈起来的部分，表示被mask掉了；
（2）OK，mask完了，那就得恢复了，怎么恢复呢？作者先对节点属性进行预测，并与真实属性$X$度量得到第一个损失$L1$。接下来再对mask的边进行预测，有得到第二个损失$L2$；
（3）$L1、L2$有了，那就是对参数进行优化使得损失$L$最小，也就得到了预训练的结果。
这只是一个简单的流程描述，具体步骤下面讲解。

二、详细讲解

三、

待更新……