GNN的各变体和框架

Author: Catigeart
GitHub: https://github.com/Catigeart?tab=repositories

GCN 图卷积网络

• 原理：类比傅里叶变换，每个图节点有不同强度的信号，对其进行图傅里叶变换分解，并分析其相邻节点信号平滑度，通过信号的流动实现周边信息的传递。
• 拉普拉斯矩阵$L=D-A$，其中$D$是一个对角矩阵，$D_{ii}$表示节点$v_i$的度，A是邻接矩阵。$L$是一个反映图信号平滑度的算子；
• $L_{sym}$：拉普拉斯矩阵的正则化形式
• ${\tilde{L}}_{sym}={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{\frac{1}{2}}$,称为重归一化的拉普拉斯矩阵
• 图卷积层公式：
  $$X^{\prime }=\sigma ({\tilde{L}}_{sym}XW)$$
• GCN的优点：
  • 对表示学习和任务学习进行端对端的优化
  • 学习到结构信息
• GCN的性质：
  • 是一种低通滤波器
• GCN的问题：
  • 过平滑

GraphSAGE

• 对GCN的改动：
  • 通过采样邻居策略将GCN由全图训练方式改造成以节点为中心的小批量训练方式
  • 对聚合邻居的操作进行了扩展
• 采样邻居：设定第$k$阶采样邻居不超过$S_k$个
• 聚合邻居
  • 条件：对数量自适应、具有排列不变性
  • 例子：mean,sum,pooling

GAT

• 注意力机制：
  $$Attention(Query,Source)=\sum similarity(Query,Ke{y}_i)\cdot Valu{e}_i$$
• 图注意力层：
  • 将Query设置为当前中心节点的特征向量，将Source设置为所有邻居的特征向量，将Attention Value设置为中心节点经过聚合操作后的新的特征向量。设节点$v_i$的特征向量为${\mathbf{h}}_i$，相关度函数为$a$，假设中心节点为$v_i$，则邻居节点$v_j$到$v_i$的权重系数为：
    $$e_{ij}=a(W{\mathbf{h}}_i,W{\mathbf{h}}_j)$$
  • 权重归一化：
    $${\alpha }_{ij}=softmax(e_{ij})$$
  • 图注意力层公式：
    $${\mathbf{h}}_i^{\prime }=\sigma (\sum _{v_j\in \tilde{N}(v_i)}{\alpha }_{ij}W{\mathbf{h}}_j)$$
  • 多头图注意力：
    $${\mathbf{h}}_i^{\prime }=|{|}_{k=1}^K\sigma (\sum _{v_j\in \tilde{N}(v_i)}{\alpha }_{ij}^{(k)}{W}^{(k)}{\mathbf{h}}_j)$$

R-GCN

• 异构图的GCN

GNN的通用框架

• MPNN
  • 基本思路：节点的表示向量都是通过消息函数M和更新函数U进行K轮消息传播机制迭代后得到的
    $${\mathbf{m}}_i^{k+1}=\sum _{v_j\in N(v_i)}{M}^{(k)}({\mathbf{h}}_i^{(k)},{\mathbf{h}}_j^{(k)},{\mathbf{e}}_{ij})$$
    $${\mathbf{h}}_i^{(k+1)}=U_i^{(k)}({\mathbf{h}}_i^{(k)},{\mathbf{m}}_i^{(k+1)})$$
• NLNN
  • 对注意力机制的一般化总结，通过non-local操作将任意位置的输出响应计算为所有位置特征的加权和
    $${\mathbf{h}}_i^{\prime }=\frac{1}{C(\mathbf{h})}\sum _{\forall j}f({\mathbf{h}}_i,{\mathbf{h}}_j)g({\mathbf{h}}_j)$$
  • 其中f是相关度函数，g是输入${\mathbf{h}}_j$的变换函数，$\frac{1}{C(\mathbf{h})}$用于归一化结果
  • f的选择：内积、全连接、高斯函数等
• GN
  • 点更新边，边聚合更新点，点聚合与边聚合更新图

参考资料：
《深入浅出图神经网络：GNN原理解析》，刘忠雨