【GCN】论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

本文为论文SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS的阅读笔记.
github链接：Graph Convolutional Networks

---

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

基于图卷积网络的半监督分类

摘要

• 通过谱图卷积（spectral graph convolutions） 的局部一阶近似，来确定卷积网络结构。
• 该模型在图的边数上线性缩放
• 该模型学习隐藏层表示，这些表示既编码局部图结构、也编码节点特征
• 通过图结构数据中部分有标签的节点数据对卷积神经网络结构模型训练，使网络模型对其余无标签的数据进行进一步分类

1 INTRODUCTION

使用神经网络模型 $f(X,A)$ 对所有带标签节点进行基于监督损失的训练。

• $X$为输入数据
• $A$为图的邻接矩阵

在图的邻接矩阵上调整 $f(\cdot )$ 将允许模型从监督损失 $L_0$中分配梯度信息，并使其能够学习所有节点（带标签或不带标签）的表示。

2 Graph中的快速卷积

具有以下分层传播规则的多层图形卷积网络（GCN）：
$$H^{(l+1)}=\sigma ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)})\text{\hspace{1em}(1)}$$
其中：

1. $\tilde{A}=A+I_N$为无向图G的带自环邻接矩阵
2. $I_N$为单位矩阵
3. ${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$
4. $W^{(l)}$为layer-specific可训练权重向量
5. $\sigma (\cdot )$为激活函数，例：ReLU
6. $H^{(l)}\in {\mathbb{R}}^{N\times D}$为第$l^{th}$层的激活矩阵；$H^{(0)}=X$

2.1 谱图卷积

推荐阅读：【GCN】图卷积网络初探——基于图（Graph）的傅里叶变换和卷积

在上面这篇文章中，我们推导出基于图的卷积公式如下：
$$(f\ast h{)}_G=U\left(\begin{array}{ccc}\hat{h}({\lambda }_1)& & \\ & \ddots & \\ & & \hat{h}({\lambda }_n)\end{array}\right)U^{T}f$$

• $f$为待卷积函数（比如图的特征向量）
• $h$为按需设计的卷积核，$\hat{h}$为卷积核的傅里叶变换
• $U$为【图的拉普拉斯矩阵】的【特征向量矩阵】
• $\lambda$为图的拉普拉斯矩阵的特征值
  
  之后，我们又提到了两种卷积核的设计：
  第一代GCN：卷积核：$diag(\hat{h}({\lambda }_l))：diag({\theta }_l)$
  推导出的公式如下：
  y o u t p u t = σ ( U ( θ 1 ⋱ θ n ) U T x ) y_{output}=\sigma \begin{pmatrix} U \begin{pmatrix} \theta_1 & & \\ & \ddots & \\ & & \theta_n \end{pmatrix} U^Tx \end{pmatrix} youtput​=σ⎝⎛​