TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommend

TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems（SIGIR24）

源码：https://github.com/Peiyance/TransGNN-torch

摘要

图神经网络 (GNN) 通过对用户-项目交互图进行建模，已成为协作过滤 (CF) 的有前途的解决方案。现有基于 GNN 的推荐系统的核心涉及沿着用户-项目交互边缘传递递归消息以细化编码嵌入。 尽管它们已被证明是有效的，但当前基于 GNN 的方法遇到了有限感受野和存在噪声“兴趣无关”连接的挑战。相比之下，基于 Transformer 的方法在自适应和全局地聚合信息方面表现出色。 然而，它们在大规模交互图上的应用受到固有的复杂性和捕获复杂、纠缠结构信息的挑战的阻碍。 在本文中，我们提出了TransGNN，这是一种新颖的模型，它以交替的方式集成 Transformer 和 GNN 层，以相互增强它们的能力。 具体来说，TransGNN 利用 Transformer 层来拓宽感受野，并从边缘解开信息聚合，从而聚合来自更多相关节点的信息，从而增强 GNN 的消息传递。 此外，为了有效捕获图结构信息，位置编码被精心设计并集成到 GNN 层中，将此类结构知识编码为节点属性，从而增强 Transformer 在图上的性能。 通过提议对 Transformer 最相关的节点进行采样，以及两种有效的样本更新策略来降低复杂性，也减轻了效率方面的考虑。

框架

首先通过考虑注意力采样模块中的语义相似性和图结构信息来对每个中心节点进行最相关的节点采样。 然后在位置编码模块中，计算位置编码来帮助Transformer捕获图拓扑信息。 在这两个模块之后，我们使用 TransGNN 模块，它按顺序包含三个子模块：（i）Transformer 层，（ii）GNN 层，（iii）样本更新子模块。 其中，Transformer层用于扩展GNN层的感受野，高效聚合注意力样本信息，而GNN层则帮助Transformer层感知图结构信息，获取更多邻居节点的相关信息。 集成样本更新子模块以高效更新注意力样本。

注意力采样模块

计算整个用户-项目交互图的注意力

位置编码模块

为了丰富 Transformer 的拓扑知识，我们引入了三种针对推荐场景定制的不同位置编码：（i）基于最短路径跳跃的位置编码。 (ii)基于度数的位置编码。 (iii) 基于 PageRank 的位置编码。 前两种编码表示用户和项目之间的接近度，强调用户交互或项目的受欢迎程度的多样性和频率。

1. 基于最短路径的位置编码

交互图中的用户-项目接近度可以暗示用户偏好。 对于每个用户来说，到各个项目的距离（反之亦然）可能会产生不同的影响。 我们通过利用最短路径跃点来封装它。 具体来说，我们将最短路径跳跃矩阵表示为 P，对于每个节点 𝑣𝑖 ∈ V 及其注意力样本节点 𝑣 𝑗 ∈ Smp(𝑣𝑖 )，最短路径跳跃为 𝑃(𝑖, 𝑗)，我们计算基于位置的最短路径跳跃 每个注意力样本节点𝑣𝑗的编码（SPE）为：

2. 基于度的位置编码

degi 是节点i的度

3. 基于pageRank的位置编码

获得三种位置编码后 ，将节点嵌入和其位置编码融合，获得图节点的嵌入H。

3. TransGNN模块

(i) Transformer 层、(ii) GNN 层和 (iii) 样本更新子模块组成

(1) transformer层

（2）GNN层

（3）更新子样本模块

随机游走更新

基于消息传递的更新

基于随机游走的更新策略有额外的开销。 我们提出了另一种更新策略，利用 GNN 层的消息传递来更新样本，而无需额外的开销。 具体来说，我们在 GNN 层的消息传递过程中聚合每个中心节点的邻居节点的注意力样本。 这背后的直觉是，邻居节点的注意力样本也可能是中心节点的相关注意力样本。

模型优化

根据 transGNN模型，选择用户 u，一次预测用户在每一个时刻选择的物品。