对GCN公式的理解

GCN隐藏状态的更新公式

$$H^{t+1}=\sigma ({\hat{D}}^{-\frac{1}{2}}\tilde{A}{\hat{D}}^{-\frac{1}{2}}{H}^t{W}^t)$$

• $H^t$ 表示第 $t$ 个隐藏状态，其实也就是第 $t$ 步得到的节点特征，$H^t\in R^{N\times D}$，$N$ 为顶点个数，$D$ 为节点的特征维度
• $\hat{D}$ 表示顶点的度矩阵，$\hat{D}\in R^{N\times N}$，是一个对角矩阵
• $\tilde{A}$ 表示添加自环后的邻接矩阵，$\tilde{A}=A+I$
• $W$ 表示第 $t$ 步时的权重矩阵，相当于一个线性层
• $\sigma$ 表示激活函数

理解

• GCN更新隐藏状态的公式本质上是一个归一化后的加权聚合过程
• 假如将图中顶点一视同仁，也就是认为它们重要性相同，那么我们便可以将隐藏状态的更新公式简化为$$H^{t+1}=\sigma (\tilde{A}{H}^t{W}^t)$$
• 更进一步来说，假如我们只考虑邻居节点之间的聚合，那么公式还可以简化为$$H^{t+1}=\tilde{A}{H}^t$$
  • 我们可以举一个例子看看，假设现在有一个包含了三个顶点，两条边的有向无环图，它的邻接矩阵$A$为$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]$$
    其实这个拓扑图可视化出来就是
    
  • 假设我们要对2号顶点做邻域聚合，那么就应当聚合2号顶点本身和3号顶点的特征，我们套入公式$H_i^{t+1}={\sum }_j{A}_i{H}_j^t$，此时会发现，假如说我们不对邻接矩阵添加自环，那么做邻域聚合时便不会包含自身那个顶点的特征，例如在本例中，2号顶点的特征会被排除在外。因此，对节点添加自环是必要的。
  • 上一步只考虑了2号顶点的聚合，如果考虑全部顶点，那么直接使用$H^{t+1}=\tilde{A}{H}^t$即可，没想清楚的话可以自行举一个例子进行计算。
• 接着回来考虑公式 $H^{t+1}=\sigma (\tilde{A}{H}^t{W}^t)$，前文提到，这是不考虑节点重要性时的隐藏状态更新公式，这个公式在上一个聚合公式 $H^{t+1}=\tilde{A}{H}^t$ 的基础上添加了一个权重矩阵 $W^t$ 和一个激活函数$\sigma$，实际上与感知器中的公式没有什么差异，假如说我们令 $X^t=\tilde{A}{H}^t$，那么就有 $y^t=H^{t+1}=\sigma (X^t{W}^t)$，这与添加了激活函数的线性回归公式的形式基本一致。
• 至此，我们已经清楚了不考虑节点之间的差异性时，GCN公式是怎么运作的，但是一个拓扑图中的各个节点重要性当然是不相同的。按照GCN的做法来说，它是认为一个节点的重要性与它的邻居数量成正比的，因此，GCN最终的公式是对添加自环的邻接矩阵 $\tilde{A}$ 使用 ${\hat{D}}^{-\frac{1}{2}}\tilde{A}{\hat{D}}^{-\frac{1}{2}}$进行了处理。
  • 至于为什么对 $\tilde{A}$ 左右分别乘上度矩阵即可体现节点重要性，其实明白了一个道理即可，当对一个方阵左乘上一个对角阵时，就相当于对方阵的每一行都进行了扩大，而右乘一个对角阵时，则相当于对方阵的每一列进行了扩大，具体什么意思可以看下面的计算实例。
  • 经过度矩阵加权后的邻接矩阵，它的每个节点对应的每条边都会有一个权值，此时使用这个矩阵替代原来的邻接矩阵进行邻域聚合即可。