图卷积神经网络GCN---池化层代表作

GNN Pooling

1 Deep Convolutional Networks on Graph-Structured Data

[Henaff M, 2015, 1] 提出通过层次图聚类的方式达到池化的效果。

2 Convolutional neural networks on graphs with fast localized spectral filtering

[Defferrard M, 2016, 2] 提出了将顶点构成一颗完全二叉树，不足部分补充虚拟顶点（类似于填充padding），经行分层池化。见下图。

3 An End-to-End Deep Learning Architecture for Graph Classification

[Zhang M, 2018, 3] 提出了一种SortPooling的方法。
论文中将每层GCN的输出拼接在一起，作为SortPooling池化的输入。

SortPooling池化的想法是对顶点排序，取top-k个，多裁少补。

如果对顶点排序？论文提出使用顶点的拓扑信息排序。

如何获得顶点的拓扑信息？使用WL \cite{Shervashidze2011Weisfeiler}算法。

论文认为每一层GCN都可以是看成一次WL的迭代过程，那么越靠后的GCN输出结果越接近最后的WL着色。

因此，排序的第一序，是从最后一层的输出到第一层的输出。

第二序则是每层输出的顶点特征的最后一维到第一维度。

由于输入到池化的张量为$Z^{1:h}=[z^1,\dots ,Z^j]={\mathbb{R}}^{|\mathcal{V}|\times {\sum }_{i=1}^h{c}_i}$，其中$c_i$是第$i$层GCN输出的顶点特征长度。那么整体过程，对行（每行对应一个顶点）排序，排序准则则是$Z^{1:h}$最后一列到第一列。

4 Hierarchical Graph Representation Learning with Differentiable Pooling

[Ying R, 2018, 4] 提出的池化方法可以微分可以学习。主要思想是通过GCN同时生成嵌入矩阵$Z^{(l)}$和assignment matrix（分配矩阵）$S^{(l)}$：
$$\begin{array}{rl}{Z}^{(l)}& ={\text{GNN}}_{l,\text{embed}}\left(A^{(l)},X^{(l)}\right),\\ S^{(l)}& ={\text{GNN}}_{l,\text{pool}}\left(A^{(l)},X^{(l)}\right).\end{array}\text{\hspace{1em}(4.1)}$$
再利用嵌入矩阵$Z^{(l)}$和assignment matrix（分配矩阵）$S^{(l)}$生成新的图，新的特征矩阵和邻接矩阵为：
$$\begin{array}{rl}{X}^{(l+1)}& ={S^{(l)}}^T{Z}^{(l)}\in {\mathbb{R}}^{n_{l+1}\times d},\\ A^{(l+1)}& ={S^{(l)}}^T{A}^{(l)}{S}^{(l)}\in {\mathbb{R}}^{n_{l+1}\times n_{l+1}}.\end{array}\text{\hspace{1em}(4.2)}$$

5 Graph U-Nets

[Gao H, 2019, 5] 提出了图数据上的U-net，其中的gPooling方法，对于第$l$层：

1. 使用可学习的投影向量$\vec{p}$对$X^l$投影：$\vec{y}=\frac{X^l{\vec{p}}^l}{\Vert {\vec{p}}^l\Vert }$；
2. 截取前$k$个索引：$\text{idx}=\text{rank}(\vec{y},k)$；
3. 对保留部分激活投影$\vec{y}$：$\widetilde{\stackrel{⃗}{y}}=\tanh (\vec{y}(\text{idx}))$；
4. 根据索引idx截取$X^l$：${\tilde{X}}^l=X^l(\text{idx},:)$；
5. 对保留下来顶点获得新的邻接矩阵：$A^{l+1}=A^l(\text{idx},\text{idx})$；
6. 对保留下来的顶点生成新的特征矩阵：$X^{l+1}={\tilde{X}}^l\odot \left(\widetilde{\stackrel{⃗}{y}}{\vec{1}}_C^T\right)$。

上图是gPooling池化过程。原文还有gUpooling，即上采样。在下采样的过程中，记录新图的顶点在原图的位置，在上采样时将根据这个位置信息将小图的顶点“还原”到大图上，见下图。

6 Self-Attention Graph Pooling

[Lee J, 2019, 6] 提出了一种自注意力池化方法SAGPool。

1. 利用卷积生成自注意力，参数${\Theta }_{\text{att}}$可学习：$Z=\sigma \left({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X{\Theta }_{\text{att}}\right)\in {\mathbb{R}}^{N\times 1}$；
2. 根据超参池化率$k\in (0,1]$，截取前$\lceil kN\rceil$，得到保留的索引idx和自注意力掩码$Z_{\text{mask}}$：$\text{idx}=\text{top-rank}(Z,\lceil kN\rceil ),Z_{\text{mask}}=Z_{\text{idx}}$；
3. 根据索引idx和掩码$Z_{\text{mask}}$获得新的特征和邻接矩阵：$X_{\text{out}}=X_{\text{idx},:}\odot Z_{\text{mask}},A_{\text{out}}=A_{\text{idx},\text{idx}}$。

原文对自注意力$Z$的获得给出了多种变体：
$$\begin{array}{rl}Z& =\sigma \left(\text{GNN}(X,A)\right),\\ Z& =\sigma \left(\text{GNN}(X,A+A^2)\right),\\ Z& =\sigma \left({\text{GNN}}_2\left(\sigma \left({\text{GNN}}_1(X,A)\right),A\right)\right),\\ Z& =\frac{1}{M}\sum _m\sigma \left({\text{GNN}}_m(X,A)\right).\end{array}$$

参考文献

• 1 Henaff M, Bruna J, Lecun Y, et al. Deep Convolutional Networks on Graph-Structured Data.[J]. arXiv: Learning, 2015.

• 2 Defferrard M, Bresson X, Vandergheynst P, et al. Convolutional neural networks on graphs with fast localized spectral filtering[C]. neural information processing systems, 2016: 3844-3852.

• 3 Zhang M, Cui Z, Neumann M, et al. An End-to-End Deep Learning Architecture for Graph Classification[C]. national conference on artificial intelligence, 2018: 4438-4445.

• 4 Ying R, You J, Morris C, et al. Hierarchical Graph Representation Learning with Differentiable Pooling[J]. arXiv: Learning, 2018.

• 5 Gao H, Ji S. Graph U-Nets[C]. international conference on machine learning, 2019: 2083-2092.

• 6 Lee J, Lee I, Kang J, et al. Self-Attention Graph Pooling[C]. international conference on machine learning, 2019: 3734-3743.

• 7 Shervashidze N, Schweitzer P, Van Leeuwen E J, et al. Weisfeiler-Lehman Graph Kernels[J]. Journal of Machine Learning Research, 2011: 2539-2561.