Graph Neural Networks for social Recommendation基于图神经网络的社交推荐系统 by JD.com WWW会议

Graph Neural Networks for social Recommendation

Abstract

传统社交推荐系统中的数据可以表示为用户-用户社交图(user-user social graph)和用户-项目图（user-item graph），本文针对此提出应用GNN提高推荐的效果并解决了如下挑战：1、用户-项目图对交互及用户意见的编码;2、社会关系异质性的表示;3、两种图形的综合考虑。
在本文中，提出了一个新颖的社交推荐图神经网络框架(GraphRec)。另外，作者提供了一种建模方法来联合捕获用户-项目图中的交互和意见，对两种图和异构强度进行了连贯的建模。在两个真实数据集上的大量实验证明了GraphRec的有效性。

Introduction

针对图数据的神经网络兴起：:
Deep neural network techniques for graph data:

1. Thomas N. Kipf and Max Welling. 2017. Semi-Supervised Classification with Graph Convolutional Networks. In International Conference on Learning Representations (ICLR).

Graph Neural Networks (GNNs):

1. Defferrard, Bresson, and Vandergheynst. 2016. Convolutional neural networks on graphs with fast localized spectral filtering. In Advances in Neural Information Processing Systems.
2. Hamilton, Ying, and Leskovec. 2017. Inductive representation learning on large graphs. In Advances in Neural Information Processing Systems.
3. Ma, Wang, C. Aggarwal, Yin, and Tang. 2019. Multi-dimensional Graph Convolutional Networks. In Proceedings of the 2019 SIAM International Conference on Data Mining(SDM).

On the other hand, data in social recommendation can be represented as graph data with two graphs.

The natural way of social recommendation is to incorporate the social network information into user and item latent factors learning

Challenges:

1. How to inherently combine these two graphs and aggregate information from both graphs to learn better user representations.
2. How to capture interactions and opinions between users and items jointly.
3. How to distinguish social relations with heterogeneous strengths.

Contributions:

• 提出了在社交推荐系统中建模图数据的图神经网络GraphRec
• 提出了原则性方法，可同时捕获user-item图的交互和用户opinion
• 提出了考虑数学层面的异构社会关系的方法
• 实验证明效果

THE PROPOSED FRAMEWORK

Definitions and Notations

U = { u 1 , u 2 , . . . , u n } U=\{u_1, u_2,..., u_n\} U={u1​,u2​,...,un​} 为用户集 V = { v 1 , v 2 , . . . , v m } V=\{v_1, v_2,...,v_m\} V={v1​,v2​,...,vm​}为物品集。
$R={\mathbb{R}}^{n\times m}$表示user-item评分矩阵，也即user-item graph
O = { < u i , v j > ∣ r i j ≠ 0 } O=\{<u_i, v_j>|r_{ij}≠0\} O={<ui​,vj​>∣rij​​=0} 为已知用户评分集 τ = { < u i , v j > ∣ r i j = 0 } \tau=\{<u_i, v_j>|r_{ij}=0\} τ={<ui​,vj​>∣rij​=0}为未知用户评分集
$N(i)$为用户i的好友用户集
$C(i)$为用户i的接触item集
$B(i)$为接触过物品j的用户集
$T\in R^{n\times n}$表示user-user socail graph

Problem:

Given the user-item graph R and social graph T, we aim to predict the missing rating value in R.

Framework

User Modeling
任务：内在地结合user-item和user-social图。学习用户潜在因素：$h_i\in {\mathbb{R}}^d$
方法：two types of aggregation to learn factors from two graphs

• first aggregation: item aggregation
  learn item-space user latent factor $h_i^I\in {\mathbb{R}}^d$ from the user-item graph

• second aggregation: social aggregation
  learn social-space user latent factor $h_i^S\in {\mathbb{R}}^d$

Item Aggregation
Principled approach for Item Aggregation: jointly capture interactions and opinions in the user-item graph
(同时考虑用户-物品图的交互与意见)

$C(i)$表示用户$u_i$的交互物品集或好友用户，$x_{ia}$表示用户i与物品a的交互表示向量(representation vector),$Aggr{e}_{items}$表示物品聚合函数。
$W,b$为神经网络的权重和偏置项参数。

其中：
$$x_{ia}=g_v([q_a\oplus e_r])$$

$q_a$表示物品a的嵌入向量，$e_r$表示用户意见评分机制r的嵌入向量
For example, in a 5-star rating system, for each r r ∈ { 1 , 2 , 3 , 4 , 5 } r\in \{1, 2, 3, 4, 5\} r∈{1,2,3,4,5}, we introduce an embedding vector $e_r$

通过多层感知机MLP融合$q_a$和$e_r$，$g_v$表示MLP的参数，$\oplus$表示两个嵌入向量的连接

$Aggr{e}_{items}$的制定
传统方法：均值操作

当为均值处理时，${\alpha }_i$被固定为$1/|C(i)|$，为了优化，需要改进${\alpha }_i$的设定：
attention mechanisms

通过两层神经网络（注意力网络）结合$x_{ia}$和用户嵌入向量$p_i$得到注意力得分：

通过Softmax标准化：

Social Aggregation
考虑好友关系的异质性（交互强度），为此，引入了一种注意机制，通过选择具有代表性的社交朋友来描述用户的社交信息，然后对用户的社交信息进行聚合。

类似Item Aggregration的注意力机制，考虑用户间不同的交互强度。

Learning User Latent Factor
为了更好地了解用户潜在因素，需要将item-space的用户潜在因素和social-space的用户潜在因素结合起来考虑，因为social图和user-item图提供了不同角度的用户信息。

Item Modeling

User Aggregation
方法类似Item Aggregation for learning user latent factor
首先通过类似Item的方式得到对物品j的意见交互形式的向量表示

之后同样通过多注意力机制得到：

$z_j$即为通过用户聚合得到的物品建模。

综上，共有三种嵌入向量表示：

1. item embedding:$q_a$
2. opinion embedding：$e_r$
3. basic user embedding:$p_t$

Rating Prediction
在得到用户与物品的潜在表示后，本文致力于解决得分预测问题，即预测$r_{ij}$：用户$u_i$对物品$v_j$的评分。

EXPERIMENT

数据集
popular social networking websites:
Ciao Epinions

Evaluation Metrics
MAE和RMSE

Baselines

• PMF:概率矩阵因式分解仅利用用户项目评价矩阵，利用高斯分布对用户和项目的潜在因素进行建模
• SoRec:社会推荐对用户-物品评价矩阵和用户-用户社会关系矩阵进行协因数分解（co-factorization）。
• SoReg:社会正则化算法将社会网络信息作为正则化项来约束矩阵分解框架。
• SocialMF:考虑了信任信息和信任信息在推荐系统矩阵分解模型中的传播。
• TrustMF:该方法采用矩阵分解技术，根据信任的方向性对信任网络进行分解，将用户映射到两个低维空间:信任者空间和信任空间。
• NeuMF:This method is a state-of-the-art matrix factorization model with neural network architecture. The original implementation is for recommendation ranking task and we adjust its loss to the squared loss for rating prediction.
• DeepSoR
• GCNMC+SN

模型训练结果：

Finding:

• SoRec, SoReg, SocialMF, and TrustMF 表现均好于PMF 这支持了社交网络信息对推荐系统的重要性。
• DeepSoR和GCNMC+SN的方法好于其他结合评分与社交网络的矩阵分解模型，这证明了神经网络算法的优势
• 在基线中，GCMC+SN表现出较强的性能。这表明，由于gnn自然地集成了节点信息和拓扑结构，因此它在图形数据表示学习方面具有强大的功能。
• 所提出的的GraphRec方法始终优于所有的基线方法。与DeepSoR和GCMC+SN相比，GraphRec提供了先进的模型组件来整合评分和社交网络信息。此外，GraphRec提供了一种方法来考虑用户-项目图中的交互和意见。

变体模型(特征信息)：

GraphRec-SN:删除社交信息的GraphRec
GraphRec-Opinion:删除Opinion embedding的模型。

结果：

结论：证明了社交信息与用户对物品意见对推荐系统的重要性。

变体模型(注意力机制)：
GraphRec共有3种注意力机制：item attention α, social attention β, and user attention μ.
分别移除item attention、 social attention、 item & social attention、user attention得到四种不同模型。

结果：

结论：

• 并不是每个用户交互过的物品(购买历史)对物品空间的用户潜在因素的贡献都是一样的，也不是所有交互过的用户(购买者)对学习物品潜在因素的重要性都是一样的。
• 与弱关联相比，强关联用户更有可能分享相似的口味。社会聚合的注意机制考虑社会关系的异质力量。当注意力机制β移除,GraphRec -β的性能显著下降。它证明我们的假设,在社会聚合,不同的社会朋友应该有不同的影响学习的社会空间用户潜在的因素。区分具有异质力量的社会关系是重要的。

嵌入层(特征信息)：
通过改变以下潜入层的size
user embedding p , item embedding q, and opinion embedding e,
从8-256

结论：一般来说，随着嵌入尺寸的增大，性能先增大后减小。当增加嵌入大小从8到64年可以显著地提高性能。但是，当嵌入大小为256,GraphRec会降低性能。结果表明，使用较大的嵌入尺寸具有强大的表示性。然而，如果嵌入的长度太大，模型的复杂性将显著增加。因此,需要找到一个合适的嵌入长度为了平衡性能和复杂性之间的权衡。