今天的分享的主要内容是关于GNN在预训练、异配性网络以及图数据压缩的相关研究

1、GNN与生成式预训练
论文名称：GPT-GNN: Generative Pre-Training of Graph Neural Networks
作者：Ziniu Hu,University of California, Los Angeles
文章地址：https://www.aminer.cn/pub/5efb0d5691e011063336d354
导读：在本文中提出了GPT-GNN框架，通过生成式预训练来初始化GNN。GPT-GNN引入了一个自监督属性图生成任务来预训练GNN，使其能够捕获图的结构和语义属性信息。我们将图生成的概率分解为两部分:1)属性生成和2)边生成。通过对两个组件进行建模，GPT-GNN捕捉到生成过程中节点属性与图结构之间的内在依赖关系。

2、GNN与异配性网络
论文名称：Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs
作者：Jiong Zhu, Yujun Yan, Lingxiao Zhao, Mrak Heimann, Leman Akogiu, Danai Koutra
文章地址：https://www.aminer.cn/pub/5f7fdd328de39f0828397e22
导读：作者来自Michigan大学。本文研究发现，现有的GNNs大多应用于同配性强的网络，而在高异配性网络的表达能力较差，甚至比仅依靠节点特征进行分类的MLP更差。本文基于GNNs的局限性设计三种方法：(1)将每个节点嵌入与其邻居嵌入分开聚合；(2)聚合来自高阶邻域的信息；(3)在最后一层combine节点的中间层表示；并将这三种方法组成一个新的图神经网络H2GCN，实验证明了该模型在同配性和异配性网络的有效性。

3、图数据的压缩
论文名称：Partition and Code: learning how to compress graphs
作者 :Giorgos Bouritsas, Andreas Loukas, Nikolaos Karalias, Michael M. Bronstein
文章地址: https://www.aminer.cn/pub/60e43b52dfae54001623c04c
导读：作者包括来自ICL的Bronstein教授（Bronstein是Twitter的图学习研究的负责人），其引用量最高的一篇为”Geometric Deep Learning Going beyond Euclidean data“.
本文主要利用机器学习来压缩图数据，这项工作旨在建立无损图压缩方法遵循的必要原则，以接近熵存储下界。文中没有对图分布做出严格的假设，而是将压缩器制定为一个概率模型，可以从数据中学习并推广到看不见的实例。本文的“分区和代码”框架包含三个步骤：(1)分区算法将图分解为基本结构，2)然后将它们映射到学习概率分布的小字典的元素，3)最后，熵编码器将表示转换为位。三个步骤都是参数化的，可以使用梯度下降进行训练。