【Datawhale图机器学习】图神经网络的表示能力

图神经网络的表示能力

GNN理论

GNN有多强大

• 已经提出了许多GNN模型（例如，GCN、GAT、GraphSAGE、设计空间）。
• 这些GNN模型的表达能力什么？
  表达、学习、区分、拟合
• 如何设计一个最具表现力的GNN模型

一个GNN层

多个GNN层

GNN模型实例

GCN

GraphSAGE

节点颜色

• 用不同颜色表示不同Embedding
• 节点属性特征 初始Embedding
• 通过连接结构区分不同节点(计算图)

GNN的表达能力=区分计算图根节点Embedding的能力

理想GNN：不同的计算图根节点，输出不同Embedding，单仍旧无法区分节点1和节点2

总结

GNN的表达能力可以通过邻居聚合函数的表达能力来表征。
邻居聚合是多集合（具有重复元素的集合）上的函数
GCN和GraphSAGE的聚合函数无法区分一些基本的多集合；因此不是内射的。
因此，GCN和GraphSAGEare并不是功能强大的GNN

学习资源

教程和概述
Relational inductive biases and graph networks (Battaglia et al., 2018)
Representation learning on graphs: Methods and applications (Hamilton et al., 2017)Attention-based neighborhood aggregation:
Graph attention networks (Hoshen, 2017; Velickovicet al., 2018; Liu et al., 2018)
嵌入整个图形
Graph neural nets with edge embeddings (Battaglia et al., 2016; Gilmer et. al., 2017)
Embedding entire graphs (Duvenaudet al., 2015; Dai et al., 2016; Li et al., 2018) and graph pooling (Ying et al., 2018, Zhang et al., 2018)
Graph generation and relational inference (You et al., 2018; Kipfet al., 2018)
How powerful are graph neural networks(Xu et al., 2017)
嵌入节点
Varying neighborhood: Jumping knowledge networks (Xu et al., 2018),GeniePath(Liu et al., 2018)
Position-aware GNN (You et al. 2019)
图神经网络的谱方法
Spectral graph CNN & ChebNet(Bruna et al., 2015; Defferrardet al., 2016)
Geometric deep learning (Bronstein et al., 2017; Monti et al., 2017)
其他GNN技术
Pre-training Graph Neural Networks (Hu et al., 2019)
GNNExplainer: Generating Explanations for Graph Neural Networks (Ying et al., 2019)