第九周.01.Neural Graph Collaborative Filtering

本文内容整理自深度之眼《GNN核心能力培养计划》
公式输入请参考： 在线Latex公式
论文： Neural Graph Collaborative Filtering
PPT
代码
别人的翻译：https://www.jianshu.com/p/95da9785bea8
发表在19年的信息检索顶会SIGIR（International Conference on Research and Development in Information Retrieval）
本文主要涉及到一些推荐系统的知识，一些基本的概念这里不再详细介绍。
先讲主要思想：

1、对于上面的Base Model而言，是把用户（User）和商品（Item，上图貌似是广告推荐）分开进行训练，得到的结果进行concat，这样的做法对于用户和商品的交互信息涉及较少，此为本文要改进的一点；

2、对于DIN模型来说，涉及到了一些用户交互信息，模型收集用户历史点击信息，用来和要购买的商品进行匹配，匹配的过程用到了注意力机制。该模型没有用到图的信息，但是从图网的角度来看，该模型仅用到了图的一阶相似度作为推荐依据。此为本文改进点二。
PPT中也总结了文章的贡献：
CF modeling with high-order connectivity via GNN.

CF+GNN的原理

撇开公式的推导，我们从PPT的一个例子来看看如何通过GNN来做协同过滤推荐。

这个是PPT里面的例子，我们看到$u_1$和$u_2$两个用户，分别购买了 { i 1 , i 2 , i 3 } \{i_1,i_2,i_3\} {i1​,i2​,i3​}和
{ i 2 , i 4 , i 5 } \{i_2,i_4,i_5\} {i2​,i4​,i5​}
如果我们把上面的关系看做图，那么就是一个Bipartite，
$u_1$的邻居是： { i 1 , i 2 , i 3 } \{i_1,i_2,i_3\} {i1​,i2​,i3​}
$i_2$的邻居是： { u 1 , u 2 } \{u_1,u_2\} {u1​,u2​}
$u_2$的邻居是： { i 2 , i 4 , i 5 } \{i_2,i_4,i_5\} {i2​,i4​,i5​}
那么整合后可以看到$i_4$其实是$u_1$的高阶邻居（high-order connectivity），

如果我们把图网的卷积传播放进来，那么经过3次卷积后，$i_4$的表征信息就会通过aggregate进入$u_1$，然后进行类似相似度计算的时候，$u_1$会比较倾向购买$i_4$。

从CF的角度来理解，$u_1$和$u_2$两个用户是同一类用户，二者会倾向于购买同一类商品，就好比两个宅男都会喜欢购买手办之类的。因此$u_2$购买过$i_4$，那么系统会向$u_1$也推荐$i_4$。

模型框架

左边$e_{u_1}$是用户1的表征，右边$e_{i_4}$是商品4的表征
这里作者将每一层（上图中是三层，用上标区分）计算出来的结果concat得到结果，然后将用户和商品的表征进行相似度计算得到Loss，进行反向传播。
The representations atdifferent layers
•emphasize the messages passed over different connections
•have different contributions in reflecting user preference
思考：将不同层的结果进行concat有什么好处？

论文泛读

摘要

两段式摘要。
第一段：开篇先说RS的核心任务是学习users and items的表征
Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems.
现有的方法：矩阵分解→DL，基本思想都是高维表征到低维表征的映射
Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user’s (or an item’s) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes.
现有方法的缺点：交互信息collaborative signal难以被现有方法捕获。
We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect.

第二段，第一句就开门见山we propose 什么什么， We develop什么什么
In this work, we propose to integrate the user-item interactions — more specifically the bipartite graph structure—into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the useritem graph structure by propagating embeddings on it.
然后点出创新点collaborative signa+high-order connectivity
This leads to the expressive modeling of high-order connectivity in useritem graph, effectively injecting the collaborative signal into the embedding process in an explicit manner.
最后摆出实验结果
We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOPRec and Collaborative Memory Network. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF.

Introduction

给出了CF的概念：Collaborative filtering (CF) addresses it by assuming that behaviorally similar users would exhibit similar preference on items.
给出基于CF的两个关键：

1. embedding, which transforms users and items to vectorized representations.
2. interaction modeling, which reconstructs historical interactions based on the embeddings.
   为了更好的把collaborative signal进行融合，这里提出用用户商品之间的high-order connectivity来实现表征。
   然后在这里用$u_1$作为推荐对象给出了例子：
   

其他内容

METHODOLOGY这节就是模型的数学表达，里面的内容基本都在图网里面讲过，不重复了，稍微点一下
2.1讲的是模型的输入
2.2.1First-order Propagation.实际上是GNN的单层卷积表示
这里要提一下公式2里面有一个变量：$p_{ui}$这个表示discount factor，实际就是一个权重，例如张三喜欢周杰伦，我们推断李四是否喜欢周杰伦。由于周杰伦基本大家都喜欢，跟张三李四是不是同一类用户其实关系不大，因此这里就要对周杰伦参与计算加入discount factor。
另外在公式4里面的$m_{u\leftarrow u}$代表节点self aggregate。
2.2.2 High-order Propagation.实际上是GNN的多层卷积
2.3就是对上面模型框架图的讲解。
2.4.1Model Size对模型的参数个数进行了分析，$2L{d}_l{d}_{l-1}$，其中$L$是GNN的层数，$d_l$是表征维度，比起基线的参数量相比，并没有增加多少。
2.4.2消息和节点的抓爆，这个第一次看到，有点意思。
2.5.2时间复杂度分析，第一部分是GNN卷积计算的时间复杂度，第二部分模型的prediction layer的时间复杂度