图结构数据的新突破：GraphiT模型

人工智能咨询培训老师叶梓 转载标明出处

尽管图神经网络（GNNs）在处理图数据方面取得了巨大成功，但如何有效地整合图的拓扑结构和节点特征仍然是一个挑战。为了解决这一问题，来自法国格勒诺布尔阿尔卑斯大学的研究者们提出了一种名为GraphiT（Graph Structure in Transformers）的新型模型。该模型的核心思想是将图的结构信息编码进变换器（Transformer）架构中，以期获得比传统GNNs更优的图表示能力。

GraphiT模型的架构和策略

GraphiT模型采用了一种创新的方法来处理图结构数据，该方法通过在变换器（Transformer）架构中编码图的结构信息，以提高图数据的表示能力。

GraphiT使用标准的变换器编码器来处理图数据，将图看作是一组节点特征。核心组件是注意力机制，通过以下公式计算：

其中，Q 和 V 分别是查询和值矩阵，通过学习得到的投影矩阵 W_Q​ 和 W_V​ 进行转换。这种设计减少了模型的参数数量，同时保持了性能。

GraphiT引入了一种新颖的位置编码策略，利用图的核矩阵来调制注意力分数，具体如下：

这里，K_r​ 是图上的核矩阵，用于引入节点间的相对位置信息。通过这种方式，模型能够捕捉节点间的结构相似性，从而有效地编码位置信息。

除了位置编码，GraphiT还通过图卷积核网络（GCKN）来编码图的拓扑结构。GCKN通过枚举节点的局部子结构（例如路径），并使用核嵌入进行编码，从而生成包含更多图结构信息的特征映射。

这里，X(u) 是节点 u 的特征映射，而 ψ 是路径特征 p 的嵌入。这种方法使得模型能够更全面地理解图的局部结构。

想要掌握如何将大模型的力量发挥到极致吗？叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。实战专家1小时讲解让您轻松上手，学习如何使用 Llama Factory 微调模型。

评论留言“参加”或扫描微信备注“参加”，即可参加线上直播分享，叶老师亲自指导，互动沟通，全面掌握Llama Factory。关注享粉丝福利，限时免费录播讲解。

实验

实验旨在回答几个关键问题：

1. 标准变换器在配备了适当的位置编码和/或结构信息后，是否能够在图分类和回归任务上超越GNNs？
2. 基于核的相对位置编码是否比拉普拉斯特征值（LapPE）提供的绝对位置编码更有效？
3. 在变换器中编码图结构信息的最有效方法是什么？

实验涉及多个图分类数据集，包括MUTAG、PROTEINS、PTC和NCI1，以及一个图回归数据集ZINC。这些数据集广泛用于测试图神经网络模型的性能。此外，实验中采用了多种流行的GNN模型作为基线，如MF、GCN、GAT、GIN和GCKN等。

实验方法包括对每个数据集进行十次随机的训练/验证/测试拆分，并对不同的模型配置进行广泛的超参数搜索，以确保结果的可靠性和有效性。

表1展示了GraphiT与其他基线方法在不同数据集上的平均分类准确率/平均绝对误差。结果显示，GraphiT在多数情况下都能达到或超过现有最佳方法的性能。

表2展示了不同结构编码方案及其组合对模型性能的影响，包括仅使用变换器、结合拉普拉斯位置编码（LapPE）、结合图卷积核网络（GCKN）路径特征等策略，在多个数据集上的平均分类精度。结果表明，结合GCKN路径特征和相对位置编码的模型在多数情况下表现最佳。

图1展示了在Mutagenicity数据集上的一些分子实例，这些分子被模型正确分类为致突变。这些分子的结构通过图的形式展示，其中突出显示了模型在预测时特别关注的原子。

图2进一步展示了这些分子实例的注意力分数。注意力分数通过可视化的方式展示了模型在不同层次上对分子不同部分的关注程度。例如，在图1a中，硝基（NO2）的氮原子（节点8）在模型的注意力中显得尤为重要，这与硝基的已知致突变性质相符合。

实验结果表明，当配备了适当的位置编码和结构信息时，GraphiT模型在图分类和回归任务上能够超越传统的GNN方法。另外基于核的相对位置编码在多种情况下被证明比传统的基于拉普拉斯特征值的绝对位置编码更有效。

结合相对位置编码和结构编码的方法在多数情况下都能提供最佳性能，这表明结合这两种编码策略是提高模型性能的有效途径。

通过注意力分数的可视化，研究者能够识别出模型在进行图分类时关注的关键分子子结构。这种可视化不仅有助于理解模型的决策过程，也为进一步探索和解释模型预测提供了重要线索。

https://arxiv.org/pdf/2106.05667v1

GitHub - inria-thoth/GraphiT: Official Pytorch Implementation of GraphiT