【论文阅读-SAGPool】Self-Attention Graph Pooling

论文地址：https://arxiv.org/abs/1904.08082
代码地址：https://github.com/inyeoplee77/SAGPool
来源：ICML 2019

本篇论文主要是改变了Topk的得分方式，也是本文的创新之处。作者认为以往的得分函数过于简单，没有考虑到图的拓扑信息，认为谱域卷积同时考虑了图的拓扑信息和节点信息，故用谱域卷积的注意力来替换。其他部分基本是参考Graph U-Net论文提出的方法。

模型架构

图2左图是全局池化结构，右图是分层池化结构。
全局池化结构由三个图卷积层组成，每层的输出被连接起来。节点特征在池化层之后的readout层中聚合。然后将图的特征表示传递到线性层进行分类。
分层池化架构由三个模块组成，每个模块由一个图卷积层和一个图池化层组成。每个模块的输出经过readout层后，相加再将结果输入到线性层进行分类。代码给出了分层池化架构

代码逻辑

卷积层

在该层可选择各种类型的图卷积，我们将Kipf＆Welling提出的广泛使用的图卷积用于所有模型。

自注意力图池化层

自注意力机制被广泛的应用于最近的研究中。这些机制使得可以分配更多的注意力在重要的特征，不那么关注不重要的特征。我们通过图卷积获得注意力得分。例如，若使用Kipf & Welling的图卷积公式，则自注意力得分Z∈R^{N×1}计算如下：

通过使用图卷积去获得自注意力分数，可以获得基于图特征和拓扑的结果。在得到注意力得分之后，我们采用Gao & Ji等人提出的topk节点选择方法，