2020-AAAI-ASAP : Adaptive Structure Aware Pooling for Learning Hierarchical Graph Representations

2020-AAAI-ASAP : Adaptive Structure Aware Pooling for Learning Hierarchical Graph Representations

ASAP:用于学习分层图表示的自适应结构感知池

作者提出了ASAP（自适应结构感知池化），这是一种稀疏且可微分的池化方法，解决了以前图形池化架构的局限性。ASAP利用新颖的自我注意网络以及修改的GNN（LeConv）公式来捕获给定图中每个节点的重要性。它还学习每层节点的稀疏软集群分配，以有效地池化子图以形成池化图。实验结果表明，将现有的GNN架构与ASAP相结合，可以在多个图分类基准上获得最先进的结果。与当前稀疏分层的最新方法相比，ASAP的平均改进率为4%。

模型

如图1（b）所示，ASAP最初考虑给定输入图具有固定感受野的所有可能的局部簇。然后，它使用注意机制计算节点的群集成员。然后使用GNN对这些集群进行评分，如图1（c）所示。此外，得分最高的集群中的一小部分被选为合并图中的节点，并在相邻集群之间计算新的边缘权重，如图1（d）所示。

群集分配

首先，将图中的每个节点 $v_i$ 视为聚类 $c_h(v_i)$ 的中心点，使得每个聚类只能表示 $h$ 跳的固定半径内的局部邻居$N$，即 $c_h(v_i)=N_h(v_i)$。设 $x_i^c$ 是以 $v_i$ 为中心的聚类 $c_h(v_i)$ 的特征表示。将$G^c(V，E，X^c)$定义为具有节点特征矩阵$X^c\in R^{N\times d}$和邻接矩阵$A^c=A$的图。用 $S\in R^{N\times N}$ 表示集群分配矩阵，其中 $S_{i,j}$ 表示集群 $c_h(v_j)$ 中节点 $v_i\in V$ 的成员资格。保持集群分配矩阵 $S$ 的稀疏性，类似于原始图邻接矩阵 $A$，即 $S$ 和 $A$ 的空间复杂度均为 $O(|E|)$。

使用 Master2Token 形成集群

给定一个聚类 $c_h(v_i)$，作者通过自我注意机制学习聚类赋值矩阵$S$。任务是通过关注集群中的相关节点来学习集群 $c_h(v_i)$的整体表示。作者提出了一种新的自注意力变体，称为Master2Token(M2T)。在 M2T 框架中，首先创建一个主查询 $m_i\in R^d$，它代表集群中的所有节点：

其中 $x{\prime }_j$ 是在通过单独的 GCN 通过 $x_j$ 以捕获簇 $c_h(v_i)$ 中的结构信息后获得的。$f_m$是一个主函数，它组合和转换$v_j\in c_h(v_i)$的特征表示以找到$m_i$。在这项工作中，作者尝试了最大主函数，定义为

$m_i$使用加法关注所有组成节点$v_j\in c_h(v_i)$。

其中 ${\vec{w}}^T$ 和 $W$ 分别是可学习向量和矩阵。计算出的注意力得分${\alpha }_{i,j}$表示聚类$c_h(v_i)$中节点$v_j$的成员强度。因此，作者使用此分数来定义上面讨论的聚类分配矩阵，即$S_{i,j}={\alpha }_{i,j}$。$c_h(v_i)$ 的聚类表示 $x_i^c$ 计算如下：

使用 LEConv 进行集群选择

我们使用适应度函数 $f_{\phi }$ (类似TopK方法)根据图中 $G^c$ 中每个聚类计算的聚类适应度分数 ${\phi }_i$ 对聚类进行采样。对于给定的池化比率 $k\in (0,1]$，选择顶部的 $[kN]$ 簇并将其包含在池化图 $G^p$ 中。为了计算适应度分数，作者引入了局部极值卷积（LEConv），这是一种可以捕获局部极值信息的图卷积方法。LEConv 用于计算$\phi$，如下所示：

其中 $N(i)$ 表示 $G^c$ 中第 i 个节点的邻域，$W_1$、$W_2$、$W_3$ 是可学习的参数，$\sigma (.)$ 是某个激活函数。适应度向量 $\Phi =[{\phi }_1,{\phi }_2,...,{\phi }_N{]}^T$ 乘以聚类特征矩阵 $X^c$ 以使 $f_{\phi }$ 可学习，即：

其中， $\odot$是broadcasted hadamard product。函数 $TOPk(.)$ 对适应度分数进行排序，并给出 $G^c$ 中前 $[kN]$ 个选定簇的索引 $\hat{i}$ ，如下所示：

池化图 $G^p$ 是通过选择这些顶部 $[kN]$ 簇形成的。修剪后的集群分配矩阵 $S\in R^{N\times [kN]}$ 和节点特征矩阵 $X^p\in R^{[kN]\times d}$ 由下式给出：

其中 $\hat{i}$ 用于索引切片。

维护图连接

作者通过以下方式使用 $\hat{S}$ 和 ${\hat{A}}^c$ 找到合并图 $G^p$ 的新邻接矩阵 $A^p$：

其中${\hat{A}}^c=A^c+I$。$A_{i,j}^p={\sum }_{k,l}{\hat{S}}_{k,i}{\hat{A}}_{k,l}^c{\hat{S}}_{l,j}$如果集群 $c_h(v_i)$ 和 $c_h(v_j)$ 中有任何公共节点，或者如果集群中的任何组成节点是原始图 $G$ 中的邻居，则此公式确保 $G^p$ 中的任何两个集群 $i$ 和 $j$ 是连接的（图 1(d))。因此，簇之间的连接强度由组成节点的成员关系通过$\hat{S}$ 和边权重 $A^c$ 决定。请注意，$\hat{S}$ 是一个稀疏矩阵，因此可以有效地实现上述操作。

实验

该论文对比了我们上面提到的几种典型的全局池化方法和层次化池化方法，从外部比较结果来看，ASAP方法具有明显的效果提升。结果如下表：

此外，该论文也分别设计了消融实验来分析其设计的自注意力方法Master2Token和GCN方法LEConv的有效性，结果分别如下面两表。