DeepGCNs- Can GCNs Go as Deep as CNNs?

本篇文章主要阐述了我们怎么去构建一个网络使得GCN能够堆叠更深的层且不会发生梯度消失的问题。讲了3个method：1.Resnet 2.Densenet 3.Dilated convolutions 。

该模型的很多技巧以及method对其他的方向感觉有比较大的借鉴意义。

Introduction

在目前我们所用到的GCN中，一般layers都大致在4层左右，并不会堆叠更多，主要是因为随着层数的增加，会出现梯度消失，反向传播over-smoothing等问题。

要解决这个问题我们主要提出了三个方法：Resnet,DenseNet,Dilated. conv。其中Resnet，DenseNet就是引荐于CNN。但是因为层数的堆叠会因为池化导致空间信息的损失,而扩展卷积(Dilated conv)则可以尽量减少空间信息的损失。

本文就是以这三种方法为基础，构建一个在GCN中也能使用的模型。

文章思路启发：在早期CNN刚提出的时候，也出现过因为层数过低以及局部感受野得到信息受限等问题，我们可以以CNN为启发，对GCN进行改进。

Methodology

Graph Definition

我们定义一个图$G=(V,E)$,其中$V$表示该图的结点的集合，$E$表示为$(e_i,e_j)$,即结点i与j有边。

Graph Convolution Networks

与CNN一样，在图网络中，我们同样是对邻边的结点信息做一个权重聚合，然后来更新中心结点。我们可以定义图$G_l$的特征矩阵为所有节点在$l$层时的特征向量的拼接，图的特征可以表达为：$h_g=[h_{v1},h_{v2},h_{v3},\dots ,h_{vN}{]}^T\in R^{N\ast D}$其中D表示特征向量的维度。

在第l层上，我们的图卷积可以用下面的公式定义：
$$G_{l+1}=F(G_l,W_l)=Update(Aggregate(G_l,W_l^{agg}),W_l^{update})$$
其中Update函数是对于输出层图的特征更新，更新函数的权重矩阵为$W_l^{update}$，$aggregate$函数是图中的每一个结点依据邻边信息的聚合，形成新的结点特征向量，其中聚合信息时的权重矩阵为$W_l^{agg}$。在对每一个结点$v_i$进行aggregate操作时，都是先对邻边结点特征进行update,再聚合到该结点$v_i$上。

Dynamic Edges

目前大多数的研究工作都是基于固定的图，在每一次的迭代中去升级结点信息，但是缺忽略了边。

我们可以利用**边卷积(EdgeConv)**去选择最近的邻边来重构每一层的图。

在文章的模型中，我们使用了这样的边卷积方案，并且从实验可以得到结论：利用边卷积动态改变图结构可以有效的避免over-smoothing，并且可以有效的扩大感受野。

边卷积的方法：Dilated K-NN function。在下文中会详细讲到。

Residual Learning for GCN

我们定义一个函数$F(\ast )$是将一个图做一个朴素的操作，得到一个新的图的表示。其次，我们定义一个残插学习框架如下：
$$G_{l+1}=F(G_l,W_l)+G_l=G_{l+1}^{res}+G_l$$
意思就是在朴素网络操作的基础上再加上一个l层网络的图特征。作者称之为ResGCN.

Dense Connections in GCNs

DenseNet是所有层之间的密集拼接，可以提高各层信息的流动，有效利用每个层得到的特征表示。在这里我们把它应用到GCN上。

在DenseGCN中，第l层的信息是l层输出信息与之前所有层的输出特征信息的拼接。利用公式我们可以定义为：
$$\begin{gathered} G_{l+1}=H(G_l,W_l) \\ =\mathrm{T}(F(G_l,W_l),G_l) \\ =\mathrm{T}(F(G_l,W_l),...,F(G_0,W_0),G_0) \end{gathered}$$
$\mathrm{T}$就是拼接操作，F是layer中由input得到output的操作。

Dilated Aggregation in GCNs

在CNN，利用实验表明了通过扩展卷积的方法我们可以聚合得到更多的信息，并且对于特征信息的损失很少。我们这里类似于CNN中扩展卷积的实现方法，利用k-NN去做图的邻边的扩展。

Detail：

对于一个输入图网络$G=(V,E)$,扩展系数为 d，在利用k-NN进行扩展卷积，我们将寻找距离中心结点$v$最近的k*d个结点，利用集合表示为$(u_1,u_2,\dots ,u_{kd})$.这k *d个结点是距离v 结点最近的，我们从这些结点中选择出结点$(u_1,u_{1+d},u_{1+2d},\dots ,u_{1+(k-1)d})$.

则我们选择的d-dilated neighbors of vertex v 为：
N ( d ) ( v ) = { u 1 , u 1 + d , u 1 + 2 d , … , u 1 + ( k − 1 ) d } N^{(d)}(v)=\{u_1,u_{1+d},u_{1+2d},…,u_{1+(k-1)d} \} N(d)(v)={u1​,u1+d​,u1+2d​,…,u1+(k−1)d​}
这时我们就可以构造边$(v,u_i|u_i\in N^{(d)}(v))$.，对于在该层我们新构造的边，再去做GCN aggregation 和update，以此得到每一个结点的feature$h_v^{(d)}$.

Note：这里为了增加泛化性，在实际应用中作者用了随机扩展(stochastic convolution).

Network Architectures

利用上述理论我们可以新构建GCN的框架如上图所示。主要分为三大部分：GCN backbone，fusion block,MLP prediction block.我们在设计模型时仅仅会改变GCN block部分。即会利用PlainGCN,ResGCN,DenseGCN，而GCN中的卷积也将使用本文所述的图上扩展卷积的方法。

具体的实现细节需要参考论文

Conclusion

本篇文章很好的介绍了加深图网络的方法，并且取得了很好的表现。但个人认为本篇文章中的边卷积中利用扩展卷积是一个很大的亮点，增大了局部感受野。后续工作会针对作者所提出的这些方法进行研究，应用到其他task上。