Masked GCN论文解读

Masked Graph Convolution Network

1 提出问题

• 一般直觉：连接的数据样本往往是相似的。

• 标签传播直觉：相邻的节点通常具有相似的标签，这个直觉通常有效。

  提出问题：相邻的数据样本在属性方面是否相似？

  引出本文观点：事实上，相邻的节点只有某一部分属性相似。Maked GCN 不是直接传播每个节点中的所有属性，而是只将其属性的一部分传播给邻居。要传播的属性的选择是通过向每个节点分配mask来实现的。通过联合考虑局部和全局信息来学习mask，即属性在局部邻域中的分布及其对分类结果的影响。

2 文章贡献

1. 从传播的角度对传统的基于属性图的半监督分类(traditional attribute-graph based semi-supervised classification )和图卷积神经网络(GCNNs)进行了分析，并将其分为对称传播和非对称传播两类( symmetric and asymmetric propagations)。
2. 标签传播的一般假设不能满足属性传播的实际需要，只需传播部分属性。
3. 提出了一种满足属性传播要求的掩码图卷积网络(Masked GCN)，其通过学习每个节点的掩码向量(mask vecotr)来满足属性传播的要求。

2.1 标签传播和属性传播

• 标签传播(label propagation)：传统的基于属性图的半监督分类(AGSS)方法将给定的标签传播到由输入特征构建的图上，以预测未标记的数据样本。
• 属性传播(attribute propagation)：GCNNs以真实的图拓扑以及给定的特征和标签作为输入。然后，根据图拓扑对节点属性进行平滑，并根据平滑后的属性预测目标节点。

通过深入的类比，AGSS方法和GCNNs都可以从传播的角度进行解释，并可分为两类：

• 对称传播(symmetric propagations)：GCN、PR-GCN和标签扩散(LS)算法都是基于对称归一化图拉普拉斯函数最小化目标函数，从而导致对称传播。

  由于在GCN,PR-GCN,LS的传播权重都是$\frac{w_{ij}}{\sqrt{d_i{d}_j}},w_{ij}=w_{ji}$， 所以是对称传播。

• 非对称传播：GAT和标签传播(LP)算法以原始图拉普拉斯函数为基础最小化目标函数，导致非对称传播。

基于属性图的传统标签传播算法与GCNNs的比较如下表所示：

2.2 GCNNs的分析和总结

1. GCN [Kipf and Welling,2017]
   这里，$H_{GCN}^{(0)}=X$，将最后一层送入到FC layer $Q_{GCN}=H_{GCN}W$，参数W是通过最小化给定标签和预测之间的交叉熵来获得的，如下所示
   

2. PageRank GCN [Klicpera，2019年]

   由于GCN等效于平滑拉普拉斯图中的属性，因此随着迭代次数(即图卷积层的数量)的增加，所有节点往往获得相同的属性。为了缓解这个问题PageRank GCN(PR-GCN)通过考虑GCN与PageRank的关系来改进原来的GCN。PageRank GCN中的卷积运算符定义为：

3. GAT
   
   

3 Masked Graph Convolutional Network

1. 动机：连接的节点的只有某些属性是相似的。

2. 公式化介绍

   目标函数：
   
   每个节点属性的更新公式：
   
   mask vector的每一个元素的计算：
   ​ 预测节点label的softmax层：
   论文链接