图注意力机制

1.摘要：

大多数推荐系统的图卷积神经网络工作都没有考虑明确按时邻域中不同邻居的表达差异的关系。每个相邻项目对用户偏好表示的影响可以通过该项目与用户相邻项目之间的相关性来表示。对于给定的物品，一个相邻用户和相邻用户之间的相关性可以反映关于该物品特征的信号强度。为了在图嵌入聚合中对邻居的隐式相关性进行建模，提出了NGAT4Rec。

采用了一种新颖的邻居感知图注意力层，通过成对计算这些邻居之间的注意力，将不同邻居感知注意力系数分配给给定节点的不同邻居。然后NGAT-4Rec根据相应的邻居感知注意系数聚合邻居的嵌入，为每个节点生成下一层嵌入。

我们结合了更多的邻居感知图注意力层来收集来自多跳邻居的有影响的信号，删除了在CF中的特征转换和非线性激活。。

2.介绍

以往的工作都没有对邻域内的关系信息进行显式建模，忽略了邻域间的隐式关联。相邻节点的相关性隐含了不同相邻节点的表达差异。例如：是u-i交互图中，用户的首选项可以用所有相邻项表示。用户的嵌入在训练过程中聚合了其邻居节点的信息，但很难避免其邻居节点的信息丢失，因此我们考虑直接使用用户邻居节点之间的配对相似度来获得关注系数。通过实验发现，直接通过邻居之间的配对相似度来计算这些邻居的关注系数，比通过计算用户的emb与其邻居节点的相似度得到的权重能取得更好的效果。

为了解决上述限制，我们提出了一种新的 Neighbor-Aware Graph Attention Network，称为 NGAT4Rec，以捕获节点邻域之间的隐式相关性以进行推荐任务。具体来说，我们引入了一个邻居感知图注意力层来计算用户相邻项目和项目相邻用户的邻居感知注意力系数。在作为 GNN 的主要部分的聚合中使用了邻居感知注意系数作为聚合系数。对于给定用户，相邻项目的邻居感知注意系数是通过成对注意函数计算的，包括 ReLU 函数和与给定用户的所有相邻项目的归一化点积。因为用户的嵌入隐式地聚合了它的相邻项目的嵌入，我们放弃了用户与其相邻项目之间的注意力。这同样适用于给定项目的情况。为了简化计算过程，我们通过平均每个成对注意函数在邻居之间的结果来计算注意系数。我们使用邻居嵌入和注意力系数的线性组合作为每个节点的下一层嵌入。在使用了第一跳邻居之后，我们进一步堆叠更多的邻居感知图注意力层来收集来自高阶邻居的有影响的信号。与 LightGCN 和 DGCF 类似，我们也在模型中移除了特征变换和非线性激活。我们的工作重点是通过对这些邻居之间的隐式相关性进行建模，为给定节点的不同邻居分配不同的重要性。

贡献：

1.强调了用户-项目交互图上每个节点邻居之间隐式关联的重要性，并且对这种关联进行建模可以在推荐任务中得到更好的表示。

2.提出NGAT4Rec，该网络显式的考虑了每个节点邻居间的隐式相关性，采用一种最大M子图抽样策略来加快模型训练。

3.相关工作

协同过滤：根据用户的交互历史记录来建模用户的偏好。（基于项目的邻域方法）（基于用户的邻域方法）

矩阵分解：将用户和项目嵌入向量之间的相似性来估计 用户对项目的偏好。

GNN：主要目的是集成从用户项交互图中学习的分布式表示。（空间GNN，光谱GNN）

4.本文方法

首先介绍了嵌入层。然后描述了邻居感知的图关注机制，此外引入了一个样本策略来降低邻居感知图关注的时间和空间复杂度。

 图1：邻居感知注意网络模型架构和采样策略。 (a)邻居感知的图形注意网络； (b)邻居感知的图形注意机制； (c)最大M采样策略，其中K表示采样跳数。 我们将被采样的用户标记为灰色，将被采样的项目标记为蓝色。

嵌入层：

图中的节点有两种类型：用户节点和项目节点，分别用u和i表示。嵌入层是将用户和项目的id映射到嵌入向量e中。使用一个可训练的嵌入查找表来构建消息传播的嵌入层，

U是用户的数量，I是项目的数量。

图注意力：

GAT只计算中心节点与其邻居节点之间的传播系数。但是在基于用户-项目交互图的推荐任务中，一个项目对用户的重要性可以用所有相邻项目之间的相关性来表示。

如图1b，定义了新的邻居感知图注意力机制，该机制通过第k层的隐式关联计算用户项目和项目用户的邻居感知关注系数：（i对u的关注系数）

 G()是整体注意力函数，f()是两两注意力函数，g()是注意力池化函数。我们使用归一化点积来计算两两注意，执行RELU来确保f()的结果不是负值。成对注意力函数定义为：

 注意力池化函数g()定义为：

 Nu和Ni是用户u和项目i邻居图/子图的大小。

通过公式4，我们可以得到消息传播过程中每个节点的邻居感知关注系数，第k层的消息聚合函数定位为：

 考虑聚合后嵌入的范数可能会很大，我们将这些嵌入缩放为1/N

层组合：

在使用第一跳邻域的基础上，进一步叠加更多邻域感知图注意层，从高阶邻域中收集有影响的信号。例如：u1->i1->u5二阶连通性表明，当消费i1时，u1和u5有共同的兴趣。较长的路径通过协作信号探索他们的兴趣。经过k层后，将不同层的emb嵌入加起来作为最终的嵌入。

采样策略：

对一个固定大小的邻居集进行采样，以在图上进行归纳学习。假设我们对每个节点的M个邻居进行采样，如果一个节点的邻居个数小于M，这个节点在采样的邻居中会出现重复节点。

我们执行了最大M子图采样策略，即在采样的子图中，每个节点的邻居个数不超过M。例如在图1c中，u1，i1有超过3个邻居，我们随机算则3个邻居。i2，u2邻居小于3，选择他们所有的邻居。

模型预测：

 损失：

采用贝叶斯个性化排序损失进行优化，他考虑了观察到的和未观察到的交互之间的相对顺序。

 B={(u,i,j)}表示小批量采样数据。用户，正样，负样

数据集：

 

结论

提出的NGAT4Rec模型能够捕获邻居之间的隐相关性。模型的关键是新的邻居感知图关注机制，该机制通过对给定节点的不同邻居之间的关注进行成对平均，从而为这些邻居分配不同的重要性。