EigenPool

Paper : Graph Convolutional Networks with EigenPooling
Code :

摘要

作者提出了EigenPool用来进行图的层次性池化操作，相比于DIFFPOOL，EigenPool 主要解决的是面对层次化聚类过程中，如何将合并成一个超级节点的子图的结构信息保留下来的问题，DIFFPOOL采用的是简单的加和，而EigenPool用子图上的信号在该子图上的图傅里叶变换来代表结构信息与属性信息的整合输出，具有如下几个特点

• 非参数化池化过程
• 硬簇聚类矩阵，减少合并后超级节点之间信息传递的计算量

与此相伴的有若干个缺点：聚类过程无法进行学习，硬簇聚类可能会对准确率有所损失。总的来说，本文有以下4个贡献点

• 引入了EigenPool 层
• 对EigenPool 的理论分析
• 应用EigenPool 到GCN中，提出了EigenGCN
• EigenPool实验效果的评估

EigenPool

EigenPool算法分为两部分，1）图坍缩，将图分为一组子图，并通过将子图视为超节点来形成粗化图； 2）使用EigenPooling将原始图信号转换为在粗化图上定义的信号。

EigenPool 采用谱聚类的方法得到图坍缩的结果，谱聚类的思想是让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。经典的谱聚类算法流程如下

1. 计算拉普拉斯矩阵 $L=D-A\in {\mathbb{R}}^{n\times n}$
2. 构建正则化后的拉普拉斯矩阵 $L=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$
3. 计算L的特征值，取最小的k个特征值，并计算对应的特征向量 $u_1,u_2,...,u_k\in {\mathbb{R}}^n$
4. 将上面的 $k$ 个列向量组成矩阵$U=u_1||u_2||...||u_k\in {\mathbb{R}}^{n\times k}$
5. 对矩阵 $U$ 按行标准化
6. 令 $y_i\in {\mathbb{R}}^k$ 是 $U$ 的第i行的向量
7. 使用k-means算法将新样本点 Y = { y 1 , y 2 , . . . , y n } Y=\left \{ y{_{1}},y{_{2}},...,y{_{n}} \right \} Y={y1​,y2​,...,yn​} 聚类成簇$C_1,C_2,...,C_k$
8. 输出簇 $A{}_1,A{}_2,...,A{}_k$，其中， A i = { j ∣ y j ∈ C i } A{_{i}}=\left \{ j|y{_{j}} \in C{_{i}}\right \} Ai​={j∣yj​∈Ci​}.

采样算子：采样算子描述的是原图与子图之间节点关系的映射，假设原图节点个数为 $N$，子图节点个数为 $N_k$，子图 k 中节点集合为 ${\tau }^k$，采样算子 C ( k ) ∈ { 0 , 1 } N × N k C^{(k)} \in \{0,1\}^{N\times N_k} C(k)∈{0,1}N×Nk​ 定义为

$$C_{ij}^{(k)}=\{\begin{array}{cc}1& {\tau }_j^{(k)}=v_i\\ 0& \text{otherwise}\end{array}$$

给定原图中某信号 $\text{x}\in {\mathbb{R}}^{N\times d}$，在子图 k 上进行降采样

$${\text{x}}^{(k)}=(C^{(k)}{)}^{\text{T}}\text{x}$$

同理，在子图 k 上的图信号在原图上升采样

$${\text{x}}^{\prime }=C^{(k)}{\text{x}}^{(k)}$$

对邻接矩阵进行降采样可以采取相似的形式

$$A^{(k)}=(C^{(k)}{)}^{\text{T}}A{C}^{(k)}$$

子图内邻接矩阵包含了所有坍缩掉的边

$$A_{\text{int}}=\sum _k{C}^{(k)}A(C^{(k)}{)}^{\text{T}}$$

子图间邻接矩阵包含了所有超级节点之间的边

$$A_{\text{ext}}=A-A_{\text{int}}$$

假定簇分配矩阵表示为 $S$，那么坍缩后的邻接矩阵定义为

$$A_{\text{coar}}=S^{\text{T}}{A}_{\text{ext}}S$$

假定 $L^{(k)}$ 表示子图 k 上的拉普拉斯矩阵，特征值 $u_1^{(k)}...u_{N_k}^{(k)}\in {\mathbb{R}}^{N_k}$，使用升采样将特征值映射到原图中

$$\begin{gathered} {\overline{u}}_l^{(k)}=C^{(k)}{u}_l^{(k)}\in {\mathbb{R}}^N \\ \text{subject to }l=1...N_k \end{gathered}$$

将所有子图中第 $l$ 个特征向量拼接起来构成矩阵

$${\Theta }_l=[{\overline{u}}_l^{(1)}...{\overline{u}}_l^{(K)}]\in {\mathbb{R}}^{N\times K}$$

如果某子图特征向量个数不足 $l$ 个，补零。

假定池化层的输入 $X\in {\mathbb{R}}^{N\times d}$ 表示节点上的特征表示，那么在 ${\Theta }_l$ 上的池化操作定义为

$$X_l={\Theta }_l^{\text{T}}X\in {\mathbb{R}}^{K\times d}$$

池化输出定义为

$$X_{\text{pool}}=[X_0...X_{\max (N_k)}]$$

也可以只是用前 $H$ 个来进行输出，即

$$X_{\text{coar}}=[X_0...X_H]$$

理论分析

局部视角

使用前H个系数而丢弃其他意味着我们将更多的注意力放在图形信号的“平滑”部分，这在许多应用中很常见，例如信号去噪和压缩。通过使用前H个系数，我们可以保留大多数信息，同时降低计算成本。

全局视角

下式中，不失一般性，假定 $X\in {\mathbb{R}}^{N\times 1}$

特性1：完美重构

• 池化操作可以看作是滤波器，当使用$\max (N_k)$个滤波器时，可以从滤波后的信号中完美重构输入图信号。
  $$\sum _{l=1}^{\max (N_k)}{\Theta }_l{X}_l=X$$

特性2：能量/信息保留

• 当选择$max(N_k)$个滤波器时，改变后的信号保留所有能量。
  $$||X|{|}_2^2=\sum _{l=1}^{\max (N_k)}||X_l|{|}_2^2$$

特性3：近似能量保留

• 当选择滤波器时个数时。 实际上，我们只需要 $H\ll \max (N_k)$ 的滤波器就可以进行有效的计算。 即使使用H个滤波器，滤波后的信号仍保留了大部分能量/信息。
  $$\frac{||x^{\prime }|{|}_2^2}{||x|{|}_2^2}=\frac{{\sum }_{l=1}^{\max (H)}||X_l|{|}_2^2}{{\sum }_{l=1}^{\max (N_k)}||X_l|{|}_2^2}$$

特性4：节点顺序具有排列不变性

实验

作者主要从两个角度进行实验，一个是相比其他pool算法对准确率的提升，另一个是超参数H的影响。

其中，EigenGCN后面的数字表示H的大小，对比实验中，作者得到如下若干结论

• DIFFPOOL与EigenPool显著超过其他不使用层次化聚类的结果
• EigenPool对网络的准确率有显著改进
• 更大的H可以保留更多的信息，但是也可能会引入更多的噪声
• EigenPool达到了SOTA的准确率

下图是真实数据集上，H的大小对保留能量比率的影响

总结

EigenPool的提出告诉我们对传统算法的研究永远不过时，EigenPool使用的是图论中的GFT进行变换和操作，与DIFFPOOL算法相比有更强的理论依据，因此个人认为该篇paper相比DIFFPOOL具有更高的价值。不过有一个缺点在于没有对时间代价的分析，EigenPool的两步处理可能比较耗时。