NGCF及其改进模型LightGCN：Neural Graph Collaborative Filtering & LightGCN

emm…图片复制过来显示不了（因为我太懒了0.0），要看图的话可以去我的博客瞅瞅，嘿嘿嘿
对了，有些英文短句假如翻译成中文，阅读的时候就太搞脑子了，所以我干脆就不翻译了

我的博客地址：https://hikg.net/archives/125/

NGCF

Motivation

先前的方法仅仅使用描述性特征（比如ID、属性）来构造embedding function，而没有考虑过user-item interactions（或者仅仅是在定义目标函数时使用）

Model

High-order connectivity表示到达$u_1$的，路径长度大于1的节点

例如：$u_1\leftarrow i_2\leftarrow u_2$表示$u_1$、$u_2$之间的行为相似度，因为这两者都与$i_2$发生过交互

$u_1\leftarrow i_2\leftarrow u_2\leftarrow i_4$，表示$u_1$很可能对$i_4$感兴趣，因为相似的用户$u_2$之间与$i_4$发生过交互。

模型分为3层：

1. Embedding Layer

将user u（item i）的单个embedding向量$e_u\in {\mathbb{R}}^d$（$e_i\in {\mathbb{R}}^d$）组建成 一个embedding look-up table，用作之后进行传播的初始矩阵：

$E=[e_{u_1},...,e_{u_N},e_{i_1},...,e_{i_M}]$

2. Embedding Propagation Layers

• Message Construction：

  $m_{u\leftarrow i}=f(e_i,e_u,p_{ui})$

  $m_{u\leftarrow i}=\frac{1}{\sqrt{|N_u||N_i|}}(W_1{e}_i+W_2(e_i\odot e_u))$

  $p_{ui}$是在边$(u,i)$上做传播时的衰减因子，反映了historical item对用户偏好的贡献

  使用传统GCN的方法实现$f(\cdot )$函数，$N_u$代表user u的一跳邻居

• Message Aggregation：

  $e_u^{(1)}=LeakyReLU(m_{u\leftarrow u}+\sum _{i\in N_u}{m}_{u\leftarrow i})$

  不仅考虑了u的邻居，还考虑到了u的self-connection $m_{u\leftarrow u}$

• High-order Propagation：

  $\Large \begin{equation} e_u^{(k+1)} = \sigma\bigg( W_1e_u^{(k)} + \sum\limits_{i \in N_u} \frac{1}{\sqrt{|N_u||N_i|}} \big (W_1e_i^{(k)} + W_2(e_i^{(k)} \odot e_u^{k}) \big) \bigg) \end{equation} $

  $e_i^{(k+1)}=\sigma (W_1{e}_i^{(k)}+\sum _{u\in N_i}\frac{1}{\sqrt{|N_u||N_i|}}(W_1{e}_u^{(k)}+W_2(e_u^{(k)}\odot e_i^k)\left)\right)$

$\odot$表示按元素乘积，这使得传递的消息取决于e_i和e_j之间的亲和力，即来自相似的item会传递更多的消息。

3. Prediction Layer

将每层得到的user u的表示拼接起来，得到$u$的最终表示：

$e_u^{\ast }=e_u^{(0)}||...||e_u^{(L)}$

同理可得到$i$的最终表示：

$e_i^{\ast }=e_i^{(0)}||...||e_i^{(L)}$

最后使用内积来计算user u对item i的偏好：

${\hat{y}}_{NGCF}(u,i)=e_u^{\ast T}{e}_i^{\ast }$

Optimization

$Loss=\sum _{(u,i,j)\in O}-ln\sigma ({\hat{y}}_{ui}-{\hat{y}}_{uj})+\lambda ||\theta |{|}_2^2$

O = { ( u , i , j ) ∣ ( u , i ) ∈ R + , ( u , j ) ∈ R − } \large O = \{ (u,i,j) | (u,i) \in \mathbb{R}^+, (u,j) \in \mathbb{R}^- \} O={(u,i,j)∣(u,i)∈R+,(u,j)∈R−}表示成对的训练数据

${\mathbb{R}}^{+}$表示observed interactions，${\mathbb{R}}^{-}$表示unobserved interactions

LightGCN

GCN起初是为节点分类任务提出的，这上面的每个节点都拥有丰富的属性作为输入。然而在user-item interaction graph中，每个节点仅仅由一个one-hot ID描述，并没有具体的语义信息。由于ID embedding的信息量较少，所以使用多层的非线性特征变换是没有意义的，反而会增加模型训练的难度。

作者通过实验证明了：feature transformation $W_1$ $W_2$、nonlinear activation $\sigma (\cdot )$ 对NGCF模型没有任何贡献。

因此作者将上述两个组件去除，仅仅保留了GCN的核心组件 neighborhood aggregation，提出了LightGCN模型。

Light Graph Convolution

$e_u^{(k+1)}=\sum _{i\in N_u}\frac{1}{\sqrt{|N_u||N_i|}}{e}_i^{(k)}$

$e_i^{(k+1)}=\sum _{u\in N_i}\frac{1}{\sqrt{|N_i||N_u|}}{e}_u^{(k)}$

LightGCN仅仅聚合邻居节点，不去做self-connection聚合。因为后面的Layer Combination中，已经将$e_u^{(0)}$整合进最终的表示了，所以在每一层的embedding propagation中，没有必要再考虑了。

Layer Combination

分别将每一层得到的表示进行weighted sum，得到最终的表示$e_u$ $e_i$

$e_u=\sum _{k=0}^K{\alpha }_k{e}_u^{(k)}$

$e_i=\sum _{k=0}^K{\alpha }_k{e}_i^{(k)}$

Model Prediction

与NGCF一样使用内积计算：

${\hat{y}}_{ui}=e_u^T{e}_i$

Loss Funtion

Difference Between NGCF and LightGCN