SEP论文笔记

O。O蛋黄酥啊

已于 2023-04-23 22:12:11 修改

阅读量561

点赞数 3

文章标签：论文阅读算法分类

于 2023-04-06 17:28:11 首次发布

本文链接：https://blog.csdn.net/qq_51072801/article/details/129948507

版权

Structural Entropy Guided Graph Hierarchical Pooling(ICML,2022.06)

算法1,SEP-G和SEP-N的实现在https://github.com/Wu-Junran/SEP

摘要

由于固定的压缩配额（fixed compression quota）和逐步的池化设计（stepwise pooling design），这些分层池化方法仍然存在局部结构破坏和次优问题。受结构熵的启发，我们提出了一种分层池化方法SEP，来解决这两个问题。具体而言，在不分配特定层的压缩配额的情况下，设计了一种全局优化算法，一次性生成用于池化的聚类分配矩阵。我们说明了以前的在环形和网格生成图上的重构方法产生的局部结构破坏。

1.引言

首先，基于节点丢弃的池化方法，如TopKPool、SAGPool 和ASAP ，根据每个池化层设计的排名策略不必要地削减节点，导致信息丢失。虽然基于节点聚类的其他方法由于人为指定的节点压缩配额，图局部结构的破坏仍然无法防止。这个问题也存在于基于节点丢弃池化的方法。此外，这些方法产生的聚类分配仅依赖于当前层的图的拓扑结构，而不考虑池化层之间的关系。这可能会导致他们的结果不理想。因此，首选全局优化且有自然节点分区的池化操作。

在本文中，我们提出了一种称为SEP的分层池化方法，以解决阻碍gnn发展的上述两个问题(图1)。

结构熵（2016）是评估图结构信息的度量指标，图的基本结构可以通过该度量解码为其层次结构复杂性的度量。特别地，该算法可以直接得到用于分层池化的聚类分配。本文提出的结构熵最小化算法可以直接得到分层池化的聚类分配。需要注意的是，所提出的算法是全局优化的，无需学习，这意味着聚类分配将一起生成，从而避免了次优问题。此外，该算法不依赖于固定的特定于层的压缩配额，而是依赖于压缩层的数量，这将有助于保留图的局部结构。

本文工作：

•发现了之前分层池化工作中阻碍GNN发展的两个关键问题，①局部结构破坏②固定压缩配额和逐步池化设计导致的次优问题。
• 通过引入结构信息理论，提出了一种新的分层池化方法SEP，以解决所揭示的问题。
• 我们在图重建、图分类和节点分类任务上验证 SEP。

2.相关工作

分层池化

从原始图中选择最重要的k个节点来组织一个新的节点的角度，例如TopKPool，SAGPool和ASAP。虽然高效，但这种节点删除设计会导致信息丢失和孤立的子图，这将降低GNN的性能。因此，出现了另一种基于节点聚类的设计并避免了这个问题，包括DiffPool和MinCutPool。虽然防止了信息丢失，但由于固定节点压缩配额，图局部结构上的损害仍然存在。

结构熵

利用结构熵来评估图的层次结构的复杂性，结构熵也是一种自然的图节点聚类方法。基于对图信息的全局测量，结构熵可以用来解码图的重要结构，这进一步启发我们用SEP来解决阻碍gnn发展的两个问题。

3.提出的方法

3.1 Preliminaries

图G可以表示为多元组 $(\nu ,\varepsilon ,X)$ ，其中 $\left | \nu \right |=n$ 为节点集， $\left | \varepsilon \right |=m$ 为边集。

Graph neural networks

GCN在超参数调优的过程中，我们为所有层固定相同的隐藏维数。

分层池化

3.2 基于结构熵最小化的聚类分配

①尽管已有大量基于启发式或理论的图粗化工作，但很少关注池化层之间的关系。这些研究只产生基于当前层图的聚类分配。同时，②很多图由于存在噪声信息，通常不是GNN的最优图。因此，在聚类分配生成过程中，消除图中的噪声结构是至关重要的。在本文中，受结构熵的启发，我们提出了一种新的分层池化方法SEP，以解决先前工作中的上述两个问题。

论文提出了一种新的分层池化方法SEP，除了测量图信息，结构熵还可用于解码给定图的层次结构，作为其底层基本结构复杂性的度量。因此，通过结构熵最小化，可以将图的层次结构解码为相应的编码树，从而最小化来自噪声或随机变化的干扰。

根据结构熵的定义，设 $G=\left ( \nu , \varepsilon\right )$ ,则G在编码树T上的结构熵为

其中， $v_t$ 是T中的一个非根节点，也可以看作是一个节点子集，根据它在T中的叶节点划分， $v_t^+$ 是 $v_t$ 的父节点， $g_{v_t}$ 是在 $v_t$ 的叶节点划分中具有端点的边数， $vol(\nu )$ 是V中叶节点的度数之和。最优编码树T实现的最小熵为G的结构熵，即 $H(G)=min_{\forall T}\left \{ H^T(G) \right \}$ 。根据结构熵的定义，编码树是对图的一种自然的层次划分，为了使结构熵最小，建立了各层之间的联系。此外，图中的局部结构将被保留，因为我们不需要分配特定于层的节点压缩配额。

除了实现结构熵最小化的最优编码树外，在大多数情况下，具有一定高度的自然编码树是首选，因为对于大多数任务，我们只需要固定几次的图坍缩。在此背景下，我们提出G的k维结构熵来解码固定高度k的最优编码树:

本文在k维结构熵的指导下，研究了具有一定高度k的编码树的解码问题。首先，定义了三个函数。

基于这三个定义的函数，从算法1可以看到，通过结构熵最小化计算一定高度k的编码树。

第一阶段，自底向上生成一棵全高二叉编码树。该阶段在每次迭代中合并两个根子节点，形成一个新的分支，目的是最大限度地减少结构熵。

第二阶段，为了满足固定数量的图粗化，需要通过删除节点来压缩之前的全高二叉编码树。每次我们从T中选择一个内部节点，使得T在去掉这个节点后结构熵最小。删除的节点是第一阶段添加的节点。在第二阶段结束时，我们已经在结构熵的指导下得到了一棵高度为k的编码树。

但是，由于存在跨层连接，可能存在下一层没有直接继承的节点，在基于这种编码树实现分层池化时，会导致节点缺失。因此，我们需要进行第三阶段，以保证层与层之间信息传输的完整性，且不影响G在编码树T上的结构熵(见命题3.4)。

最后，可以得到给定图G的编码树T，其中 $T=(\nu ^T,\varepsilon^T),\nu ^T=(\nu_0^T,\ldots,\nu _K^T ),\nu _0^T=\nu$ 。此外，还可以由 $\varepsilon^T$ 得到聚类分配矩阵，即 $\mathbb{S}=(S_1,\ldots,S_k)$ 。

复杂性分析

算法1的运行复杂度为 $O(2n+h_{max}(mlogn+n))$ ， $h_{max}$ 为第一阶段之后编码树T的高度。同时，由于编码树T在结构熵最小化的过程中趋于平衡， $h_{max}$ 将在logn左右。此外，图的边数m通常比节点数n多，即 $m\gg n$ ，因此算法1的运行时间几乎与边数成线性关系。

3.3用于图分类的图神经网络

置换不变性

在图分类中，保证所设计的图神经网络的排列不变性是非常重要的。在我们提出的图分类模型中，有两个主要组成部分，即GCN层和SEP层。GCN层的排列不变性已经被之前的工作所证实。因此，SEP层应该是不变的排列。

命题3.5

给定置换矩阵 $P\in \left \{0,1 \right \}^{n\times n}$ ,则 $SEP(A,H)=SEP(PAP^T,PH)$ 。即SEP满足排列不变性。

（置换矩阵是主对角线全0，副对角线全1的矩阵）

4.实验（图分类）

1.数据集

从TU数据集中选择了7个图形分类基准。3个社交网络数据集IMDB-BINARY、 IMDB-MULTI、COLLAB和4个生物信息学数据集MUTAG、PROTEINS、D&D、NCI1。表1总结了七个使用的数据集的特征。

生物信息学图中的节点具有分类标签，而社交网络中没有。因此，输入的初始节点特征被设置为社交网络的节点度的one-hot编码，生物信息图的初始节点特征是节点度的one-hot编码和分类标签的组合。

2.Baselines

首先使用GCN和GIN(2019)。基线采用五种分层池化方法:DiffPool、SAGPool(H)、TopKPool、ASAP(2020)、MinCutPool(2020)和五种全局池化技术:Set2Set，SortPool，SAGPool(G) ，StructPool和GMT(2021)。

3.配置

我们使用10倍交叉验证评估模型性能。使用早期停止标准，如果在50个epoch期间验证损失没有进一步改善，我们就停止训练。此外，最大epoch数被设置为500。通过执行10次整体实验来报告测试集的平均性能。用固定次数的迭代(即50次)训练小数据集的每个epoch。将基线的每个池化层的池化比例设置为25% ，而我们的模型遵循算法1在给定高度为3时产生的自然聚类分配。

对于模型配置，学习率设为 $5\times 10^{-4}$ ，隐藏层大小设为∈{64,128}，批大小设为∈{32,128}，权重衰减设为 $1\times 10^{-4}$ ，丢弃率设为∈{0,0.5}。然后用Adam优化器对网络进行优化。

4.实验结果

如表1所示。特别是，SEP-G在社交网络数据集中得到了统一的改进，这与生物信息学数据集中的性能有所不同。这种性能差异可能是因为SEP仅依赖于网络结构进行分层池化，而社交网络数据集中的结构信息比生物信息学数据集中的结构信息更冗余。另外，NCI1中没有任何超过GIN的池化方法，因为消息传递是图分类中的关键机制。

5.SEP-G的变体

除了GCN，我们提出的池化操作符还可以与其他gnn(如GAT和GIN)一起工作。我们使用了ChebNet、GraphSAGE、GAT、GIN 。分类结果如表2所示。可以看出，这些变体在整体性能上表现较优，说明了SEP的有效性和亲和性。值得注意的是，与GAT结合的SEP在IMDB-MULTI、PROTEINS、DD和NCI1上表现较好，进一步说明了SEP与其他SOTA主干协作的巨大潜力。

6.可视化案例研究

为了更好地证明SEP在基本结构保留方面的有效性，我们在MUTAG数据集的样本上展示了DiffPool、MinCutPool和SEP在第一次图粗化后的聚类结果。如图5所示，DiffPool和MinCutPool严重破坏了这两种化合物的重要结构，两个分子式的环结构被任意撕裂成几块。而SEP在生成聚类分配的过程中能够很好地照顾到这些重要的结构。