图神经网络（7）- GNN通用框架

目录

图神经网络通用框架

 

从GCN到GraphSAGE,GAT

---

摘要： 介绍GNN通用框架，从GCN到GraphSAGE,GAT

图神经网络通用框架

开始，先介绍一个通用的图神经网络GNN框架。你会发现，这个框架与之前讲的GCN非常相似。

首先，一个图神经网络层定义为:信息传递+聚集

不同的message与aggregation操作组合就是不同图神经网络。

然后，将不同GNN层连接起来，就和其他CNN或者MLP一样

可以对图进行增强。既可以增强图的特征也能增强图的结构。譬如说，GNN的输入数据不直接用图的节点特征，而是经过编码器处理后再输入。

 最后，通过学习的目标函数，去训练GNN。

 

从GCN到GraphSAGE,GAT

之前已经提过了，通过对message和aggregation的改进，就可以得到不同类型的图神经网络。

首先，先看看GCN的message和aggregatation是什么样子的。

GCN的message操作就是：乘以权重矩阵，并用节点度做标准化。

 下面看一下，GraphSAGE。

 按照message和aggregation的思路去看，graphSAGE（Graph SAmple and aggreGatE）有两层aggregation。

声明：这个地方主要是以message和aggregation的思路去看，模型的具体细节参考。GraphSAGE: 算法原理，实现和应用https://zhuanlan.zhihu.com/p/79637787

下面再看一下，GAT。

 在GCN中α=1/|degree of v|，在对v的邻居节点求和，其实就相当于把每个节点看得同样重要，每个节点的权重是1/|degree of v|，和为1。如α不再取固定值，而是根据邻居节点的重要性不同而改变，那么这就是GAT。

下面的问题就是，周末求这个参数α（重要性）呢？

课程里面给的计算方法如下：

 

 总结一下GAT：

首先，用权重矩阵W乘以u和v节点的上一层嵌入值，然后连接起来放进一个linear（其实就是把连接起来的数据再乘以一个新的可以训练的权重矩阵W，也就是说通过这个W来得到不同的权重值），为了算出来的α的和为1，再用softmax算一下。为了得到的α够稳定，再采取多头注意力机制（其实就是不相互影响的多算几次，取总体）。

注意力机制的优点: