《Spectral Clustering with Graph Neural Networks for Graph Pooling》论文阅读报告

《Spectral Clustering with Graph Neural Networks for Graph Pooling》论文阅读报告

论文出自ICML 2020

前言

谱聚类（SC）是一种在图上寻找强连通群体的常用聚类技术。谱聚类可用于图神经网络（GNNs）中，实现聚合属于同一簇的节点的池（pool）操作。然而， Laplacian算子的特征分解十分昂贵，且聚类结果是图特有的，基于谱聚类的池方法必须对每个新样本进行新的优化。

1.论文提出的研究方法

在这篇文章中，作者提出了一个基于图的聚类方法来解决图的这些局限性，提出了一个规范化最小分割问题的连续松弛，并训练一个GNN通过计算实现这个目标最小化的簇分配。

2.论文提出方法所解决的问题及重要性

作者提出的基于GNN的实现是可微的，不需要计算谱分解，并且学习了一个可以在样本外快速计算的聚类函数。根据所提出的聚类方法，作者设计了一个图池算子，克服了现有图池技术的一些重要局限性，并在多个有监督和无监督的任务中获得最佳性能。

3.该文研究（方法、实验）的优点或不足之处

最新的卷积神经网络（CNNs）交替卷积，它从输入信号中外推局部特征，通过计算附近点的局部摘要来降低特征映射的采样率。池有助于cnn丢弃任务所需的多余信息，提供翻译不变性，并通过减少中间表示的大小来控制模型的复杂性。
优点

1. 作者在实验中为了惩罚Lc的退化极小值，鼓励簇分配是正交的，并且簇的大小尽可能相似。由于Lo中的两个矩阵有范数，很容易看出0≤Lo≤2。因此，Lo、Lc和这两项可以安全地求和，而无需重新缩放它们，这样可以减少时间和空间成本，吉纳谷地复杂度，更容易实现；
2. 作者在第五节实验部分说明了MinCutPool在实践中从未产生退化解，但在各种任务上始终获得良好的性能。这是因为在MinCutPool计算中，由于MP操作而变得相似的节点特征的簇分配，簇可能包含强连接且具有相似特征的节点，从而降低了找到退化解的风险。这个过程中，lc的退化极小值会导致输入图中的大部分信息被丢弃，因此，优化任务特定损失会鼓励GNN避免这些信息，抓取关键信息。
3. 在实验设计中，作者同时考虑了有监督和无监督任务，比较MinCutPool与传统谱聚类和其他GNN池策略的异同。在这个实验中，作者实现了一个单层GNN和一个单层MLP来计算实验的质量S，并通过最小化Lu来训练整个体系结构。为了进行比较，作者还基于DiffPool配置了一个类似的GNN架构，优化了辅助DiffPool的损失。

缺点

4.适用于该问题的其他常用方案的不足之处

1. 最近的GNN文献中提出了几种方法，从利用图论属性预计算池图的无模型方法到通过节点特征的可学习函数执行池化的基于模型的方法。然而，现有的这类无模型方法只考虑图的拓扑结构而忽略了节点的特征，而基于模型的方法大多是基于启发式的。

2. 因此，前者（无模型方法）无法学习如何针对特定的下游任务自适应地粗化图，而基于模型的方法不够稳定，即使在简单任务上也容易找到退化解（退化解是线性规划的基本概念之一，指至少有一个基变量的值等于零的基可行解）。即他们是一种理论上有根据的池操作，可以适应数据，但任务仍然缺失，达不到理想效果。

5.思考与启示

在之前的学习中了解到，谱聚类是一种将带权无向图划分为2个及以上的最优子图，而保持子图内部尽可能相似，而子图间距尽可能较远，以实现聚类目的。作者针对SC在图形神经网络（GNN）中使用Laplacian的特征分解代价昂贵这一缺点，提出了一种新的图聚类方法来解决SC的这些局限性。作者训练了GNN以计算使该目标最小化的群集分配，因为基于GNN的实现是可区分的，不需要计算频谱分解，并且可以在样本外的图上快速评估的聚类函数。
但是我认为通常的想法，应该是假设谱聚类用到图网络上，能想到是对联系紧密的社区进行pooling，然后next，但是spectral分解涉及到拉普拉斯矩阵的分解，复杂度非常的高，如果pooling完，还要继续pooling,要重新计算一次分解，这个过程太过复杂。这样根据谱聚类的算法和相关函数参数，才理解了作者思路和意图。另外谱聚类的方法没有用到节点的特征，只是根据拉普拉斯矩阵进行分解的从提的聚类方法出发，而作者设计的图形池克服了最新的图形池技术的一些重要限制，并在多个监督和非监督的任务中实现了最佳性能。