【陈工笔记-Transformer】GAMLP图注意力多层感知器中注意力机制的理解

基本信息

标题：图注意力多层感知器
链接: Graph Attention Multi-Layer Perceptron | Papers With Code
作者：Wentao Zhang,Ziqi Yin,Zeang Sheng,Yang Li,Wen Ouyang,Xiaosen Li,Yangyu Tao,Zhi Yang,Bin Cui

要点记录

问题：

图神经网络GNN在许多基于图的应用中取得了巨大成功。然而，大规模图的高稀疏性阻碍了它们在工业场景中的应用。虽然针对大规模图提出了一些可扩展的GNN，但它们对每个节点采用固定的邻域，导致GNN模型在训练过程中对实际感知域不敏感。因此在稀疏区域内对节点采用大传播深度时，会面临过平滑问题。具体而言，现有的基于GNN的改进算法，存在特征传播方式缺乏灵活性的问题，无法对不同感受野（RF） 下的关联节点进行建模，会产生两种可能的结果：（1）长距离的依赖性由于 RF 过小而不能被充分利用；（2）由于RF过大而引入过平滑的噪声而失去了局部信息。

与先前的基于GNN的方法SIGN相比，SIGN解决了不同跳的信息没有充分利用的问题，它将不同跳的特征做了拼接操作，并将其输入至一个简单的MLP。但是，SIGN的缺点在于它并没有注意到不同节点所需要的传播深度不同的问题。如果跳数K取得非常大，那么后续拼接的特征都是过平滑特征，也就引入了很多噪声信息，最终导致模型性能不佳。

即，简单的将多跳的特征直接进行拼接或均值化操作可能不是最佳选择。一个更好的方法应该是使用自适应的聚合。

方案：

该团队提出了以节点自适应方式，来显式学习多尺度知识的重要性和相关性，开发了一种图形注意力多层感知器。它可以在节点的粒度上自动利用不同邻域的知识。GAMLP主要引入两种新颖的注意力机制来实现这一点：递归注意力和跳跃知识注意力。这两种注意机制可以以节点自适应的方式捕获在不同传播深度处传播的信息之间的复杂相关性。因此，DGMLP具有与现有的简化和可扩展GNN模型相同的优点，同时由于其利用节点自适应RF的能力而提供了更好的性能。

具体技术

特征聚合机制提及两种，包括Recursive Attention和JK Attention。

Recursive Attention，在计算第l层特征的重要性时拼接了之前所有层的加权特征。这样计算得到的权重值的物理意义为：当前层特征有多少比例是之前所有层所不包含的信息。

JK Attention，将每个节点不同层的特征拼接并经过一个MLP进行变换，并将输出特征作为一个reference来衡量当前层的节点特征的重要性。这样计算得到的权重值的物理意义为：当前层的特征信息相较于所有层的特征信息，其信息量较大的特征占比有多少。

JKAttention注意力机制的深度解读

有关JK Attention注意力机制，可以延伸至 JKnet: Representation Learning on Graphs with Jumping Knowledge Networks。下面简要理解一下这篇文章的要点。

为了适应局部邻域属性和任务，该团队探索了一种架构——跳跃知识（JK）网络，该网络灵活地利用每个节点的不同邻域范围，以实现更好的结构感知表示。具体地，提出两个简单但有效的架构改变——跳跃连接（jump connections）和一个带有选择性和适应性的后聚合机制（a subsequent selective but adaptive aggregation mechanism）。

既然不同的结点需要的影响范围不一样，即不同的结点需要的邻域聚合信息程度不一样，那么就统一由模型自己来学习什么时候需要哪种程度的信息。在传统模型的基础上，将每一层的结果都联合起来输出到最后一层，这样模型就可以自己学习选择每个结点需要哪层的聚合信息。例如，对于图中心的稠密结点，可能只需要第二层的聚合信息就够了，而不需要后续的聚合信息，那么模型就会学习只关注第二层的邻居聚合信息而忽略其他层的聚合信息；而对于图边缘的稀疏结点，就可能需要更高层的聚合信息。基于此，对于不同的结点，每个结点能够自适应地选择最合适的聚合信息，即那一层的聚合信息。

（上述内容，借鉴自以下参考链接，主要用于自己的学习和记录，如果能够为大家提供些许帮助，属实幸运，内容持续更新ing）

参考链接：

1、GAT v.s. MLP

2、如何解决GNN的可扩展性与灵活性问题？

3、JKnet: Representation Learning on Graphs with Jumping Knowledge Networks