《StructPool Structured Graph Pooling via Conditional Random Fields》阅读笔记

一.概述

本文作者提出了一种获取图级（graph-level）表示的新图池化（graph pooling）——STURCTPOOL。通过STRUCTPOOL将图池化视为节点聚簇问题，通过其可以对原始图的节点进行聚簇，然后基于此生成一个新图，新图上的每个节点都由原始图上一个簇的节点生成。在聚簇的过程中，不仅考虑了节点的特征，还考虑了其它节点的簇分配（一种拓扑信息，通过条件随机场获得）。作者在多个数据集上进行实验，证明了通过STRUCTPOOL可以获取到更具表达力的图表示。

二.STRUCTURED GRAPH POOLING

2.1 图和图卷积的定义

图：图$G$可以用其邻接矩阵 A = { 0 , 1 } n × n A = \{0,1\}^{n \times n} A={0,1}n×n和特征矩阵$X\in {\mathbb{R}}^{n\times c}$表示，其中$n$表示图中的节点数，$c$表示节点特征的维数。

作者使用的图卷积与标准的GCN略有不同，其公式如下所示：
$$X_{i+1}=f\left(D^{-1}\hat{A}{X}_i{P}_i\right)\text{\hspace{1em}(1)}$$
其中$\hat{A}=A+I$表示加了自环的邻接矩阵，$X_i\in {\mathbb{R}}^{n\times c_i}$表示第$i$个卷积层后的节点表示，$P_i\in {\mathbb{R}}^{c_i\times c_{i+1}}$是可学习的特征变换矩阵，$f$表示非线性激活函数。

2.2 通过节点聚簇进行图池化

作者考虑通过节点聚类（node clustering）来进行图池化。原始图$G$中的节点被划分到$k$个簇中，每个簇都被转换为新图上的一个节点。假定图池化生成一个包含$k$个节点的新图$\tilde{G}$，该图对应的表示为$\tilde{X}\in {\mathbb{R}}^{k\times \tilde{c}}$和 A ~ ∈ { 0 , 1 } k × k \tilde{A} \in \{0,1\}^{k \times k} A~∈{0,1}k×k。

聚簇问题可以被表示为一个分配矩阵$M\in {\mathbb{R}}^{n\times k}$。对于硬分配， m i , j ∈ { 0 , 1 } m_{i,j} \in \{0,1\} mi,j​∈{0,1}表示是否节点$i$属于簇$j$。对于软分配，$m_{i,j}\in [0,1]$表示节点$i$属于簇$j$的概率，且${\sum }_j{m}_{i,j}=1$。

原始图到新图$\tilde{G}$的转换公式如下：
$$\tilde{X}=M^{T}X,\tilde{A}=g\left(M^{T}AM\right)\text{\hspace{1em}(2)}$$
其中$g(\cdot )$是一个函数，当${\tilde{a}}_{i,j}>0$时，$g({\tilde{a}}_{i,j})=1$，否则$g({\tilde{a}}_{i,j})=0$。

2.3 通过条件随机场学习簇分配

节点特征描述了不同节点属性，具有相似特征的节点有更高的概率被分配到同一个簇里。也就是说，任何节点的簇分配不仅依赖于节点的特征矩阵$X$还取决于其它节点的簇分配。作者认为高阶图结构信息对于graph pooling是有用的，应该在学习簇分配时被显式捕获。为此作者提出名为STRUCTPOOL的图池化，其考虑通过特征矩阵$X$和不同节点分配间的关系来生成分配矩阵。作者将其表示为条件随机场（Conditional Random Field, CRF）问题。

以$X$为观测值，定义 Y = { Y 1 , . . . , Y n } Y = \{Y_1,...,Y_n\} Y={Y1​,...,Yn​}为随机场，其中 Y i ∈ { 1 , . . . , k } Y_i \in \{1,...,k\} Yi​∈{1,...,k}是一个随机变量，表示节点$i$被分配的簇，则
$$P(Y\mid X)=\frac{1}{Z(X)}\exp \left(-\sum _{c\in C_{G^{\prime }}}{\psi }_c\left(Y_c\mid X\right)\right)\text{\hspace{1em}(3)}$$
其中$c$表示一个团，$C_{G^{\prime }}$表示$G^{\prime }$上的团集合。$Z(X)$是划分函数，${\psi }_c(\cdot )$是由$c$诱导的势（potential）函数。然后对一个分配 y = { y 1 , . . . , y n } y=\{y_1,...,y_n\} y={y1​,...,yn​}的Gibbs能量函数可以定义为：
$$E(y|X)=\sum _{c\in C_{G^{\prime }}}{\psi }_c(y_c|X)\text{\hspace{1em}(4)}$$
寻找一个最优分配相当于最大化$P(Y|X)$，也相当于最小化Gibbs能量。

2.4 带拓扑信息的Gibbs Energy

$C_{G^{\prime }}$表示在图$G^{\prime }$上定义的团集（clique set），作者使用$C_{G^{\prime }}$上的一元（unary）团（只包含一个节点的团）。作者基于**$\ell$-hop连接性**来定义成对的团。 A ℓ ∈ { 0 , 1 } n × n A^{\ell} \in\{0,1\}^{n \times n} Aℓ∈{0,1}n×n表示图$G$的$\ell$-hop连接性，若$a_{i,j}^{\ell }=1$，则表示节点$i$和节点$j$在$\ell$-hop内可达。因此若$(i,j)\in C_{G^{\prime }}$是成对团，则$a_{i,j}^{\ell }=1$。基于此，关于簇分配$y$的Gibbs能量可以形式化为：
$$E(y)=\sum _i{\psi }_u\left(y_i\right)+\sum _{i\ne j}{\psi }_p\left(y_i,y_j\right)a_{i,j}^{\ell }\text{\hspace{1em}(5)}$$
其中

• ${\psi }_u\left(y_i\right)$表示节点$u$分配给簇$y_i$的一元能量。
• ${\psi }_p\left(y_i,y_j\right)$为成对能量，表示将节点$i,j$分别分配给簇$y_i,y_j$的能量。

为了简单起见，公式(5)中去掉了条件$X$。

作者使用神经网络来获取上述两种能量。

对于一元能量${\Psi }_u\in {\mathbb{R}}^{n\times k}$，作者在节点特征矩阵$X$上应用多层图卷积来获取。

---

已经工作采用高斯核来计算成对能量，基于此成对能量可以被表示为：
$${\psi }_p\left(y_i,y_j\right)=\mu \left(y_i,y_j\right)\sum _{m=1}^K{w}^{(m)}{k}^{(m)}\left(x_i,x_j\right)\text{\hspace{1em}(6)}$$
其中$k^{(m)}(\cdot ,\cdot )$表示第$m$个高斯核，$x_i$即节点$i$在$X$中对应的特征向量，$w^{(m)}$是可学习的权重参数，$\mu (y_i,y_j)$是相容性（compatibility）函数，可以用来建模不同分配对间的相容性。但由于精确计算高斯核的输出计算效率比较低，因此作者提出用注意力矩阵来作为成对能量的度量。高斯核反映了不同特征向量之间的联系有多强，注意力矩阵反映了不同特征向量之间的相似性，这两者有相似之处，且后者的计算成本显著降低。基于此，成对能量定义如下：
$${\psi }_p\left(y_i,y_j\right)=\mu \left(y_i,y_j\right)\frac{x_i^T{x}_j}{{\sum }_{k\ne i}{x}_i^T{x}_k}\text{\hspace{1em}(7)}$$
作者指出公式(5)的优化是比较困难的，因此使用了一种平均场近似（mean field approximation），它是一种迭代更新算法。作者使用mean field approximation可以获取最可能的簇分配。

2.5 STRUCTPOOL总结

STRUCTPOOL算法如下所示：

作者指出该算法可以用GNN操作来实现：

• 一元能量矩阵$\Psi$可以通过几层GCN卷积来获取；
• 正则化操作（Algorithm1中的3&9）等价于softmax操作；
• 相容性函数$\mu (i,j)$可以实现为可训练矩阵$\mathcal{N}\in {\mathbb{R}}^{k\times k}$；
• 其它步骤可以通过矩阵乘法来实现。

STRUCTPOOL可视化为：

其中原始图$G$包含6个节点，颜色表示其特征，从该图可以看出一元能量矩阵是通过GCNs获取的，成对能量是使用节点特征$X$和拓扑信息$A$获取的注意力矩阵。然后执行迭代更新，通过mean field approximation来生成最可能的分配矩阵。最终得到新生成的图$\tilde{G}$。

在图分类中，首先通过STRUCTPOOL可以获取到每个图的$k$个向量，然后应用1维卷积和全连接层来进行分类。

三.实验

测评的benchmark数据集统计特征如下：

不同池化技术的结果为：

结论：STRUCTPOOL处于SOTA地位。

不同迭代更新次数的结果为：

结论：随着迭代次数的增加，性能也变得更好。

拓扑信息的影响实验结果为：

结论：$\ell$越大，更多的成对关系被考虑，性能越好。

在GIN中整合STRUCTPOOL结果为：

结论：在GIN中加入STRUCTPOOL可以显著提升预测性能。