KGAT 2019（KDD）Knowledge Graph Attention Network for Recommendation

提出背景

• 基于CF的方法无法利用用户和物品的辅助信息，像用户简介，物品属性，以及上下文环境，在用户和无匹交互较少的情况下表现较差。
• FM,NFM,Wide&Deep等模型将用户和物品表示为向量，同时将辅助信息表示为特征向量与用户，物品向量相结合，提高推荐的准确性。
• 上述方法对用户与物品的每一个交互独立处理，并没有考虑他们之间的联系。

从知识图谱中更加充分的可以挖掘用户和用户，物品和物品之间的关系。如图所示，该图由用户物品交互图和异构知识图谱组成，称作协作知识图谱（CKG）。目标用户为$u_1$，传统的user-based CF方法考虑具有相似历史行为的用户为相似用户，比如$u_1$和$u_4$h和$u_5$都购买了$i_1$，这三个用户为相似用户，item-based CF考虑物品的相似性，例如$i_1$和$i_2$具有相同的属性$e_1$,这两个物品属于相似物品。然而，我们可以探索更高层次的交互，比如，用户$u_2$和$u_3$与物品$i_2$交互,而物品$i_2$和物品$i_1$和实体$e_1$具有相同的关系，所以从某种程度上说明$u_1$和$u_2,u_3$也是相似用户,因此，我们需要充分发掘high-order relation高阶连通性，例如
u 1 ⟶ r 1 i 1 ⟶ − r 2 e 1 ⟶ r 2 i 2 ⟶ − r 1 { u 2 , u 3 } , u 1 ⟶ r 1 i 1 ⟶ − r 2 e 1 ⟶ r 3 { i 3 , i 4 } , \begin{array}{l} u_{1} \stackrel{r_{1}}{\longrightarrow} i_{1} \stackrel{-r_{2}}{\longrightarrow} e_{1} \stackrel{r_{2}}{\longrightarrow} i_{2} \stackrel{-r_{1}}{\longrightarrow}\left\{u_{2}, u_{3}\right\}, \\ u_{1} \stackrel{r_{1}}{\longrightarrow} i_{1} \stackrel{-r_{2}}{\longrightarrow} e_{1} \stackrel{r_{3}}{\longrightarrow}\left\{i_{3}, i_{4}\right\}, \end{array} u1​⟶r1​​i1​⟶−r2​​e1​⟶r2​​i2​⟶−r1​​{u2​,u3​},u1​⟶r1​​i1​⟶−r2​​e1​⟶r3​​{i3​,i4​},​
什么是高阶连通性？
定义两个节点之间的L-order连通性
$$e_0\stackrel{r_1}{⟶}{e}_1\stackrel{r_2}{⟶}\cdots \stackrel{r_L}{⟶}{e}_L$$

• 发掘高阶关系面临的挑战
  • 随着层次加深，节点数量急剧上涨，计算开销大
  • 高阶关系对预测的贡献不同，需要权衡。

现有的基于知识图谱的推荐方法的缺点

基于路径的方法

两个节点之间拥有大量的可选择路径，需要设计选择算法选择较优的路径，或者定义源路径模式对路径进行约束，这两种方法的缺点是，选择算法的性能影响推荐的性能；源路径的设计需要领域专业知识，需要大量的人工劳动力。

基于正则的方法

基于正则的方法设计了其他的损失函数项，这些方法没有直接将高阶关系嵌入为推荐而优化的模型中，而是仅以隐式方式对它们进行编码。 由于缺少显式建模，因此不能保证可以捕获远程连接性，也不能解释高阶建模的结果。

本文贡献

• 我们强调了在协作知识图中显式建模高阶关系的重要性，利附加信息提高更好的推荐。
• 我们开发了一种新的方法KGAT，它在图神经网络框架下以显式且端到端的方式实现了高阶关系建模。
• 我们在三个公开基准上进行了广泛的实验，证明了KGAT的有效性及其在理解高级关系重要性方面的可解释性。

基本架构

Embedding Layer

将CKG中的每一个节点，关系表示为一个向量，以此保留知识图谱的结构信息。本文采用transR进行Knowledge graph embedding，对于给定的三元组，得分函数为
$$g(h,r,t)={\Vert {\mathbf{W}}_r{\mathbf{e}}_h+{\mathbf{e}}_r-{\mathbf{W}}_r{\mathbf{e}}_t\Vert }_2^2$$
损失函数为
$${\mathcal{L}}_{\mathrm{K}\mathrm{G}}=\sum _{\left(h,\mathbf{r},t,t^{\prime }\right)\in \mathcal{T}}-\ln \sigma \left(g\left(h,r,t^{\prime }\right)-g(h,r,t)\right)$$

Attentive Embedding Propagation Layers

我们在图卷积网络GCN的架构基础上，沿着高阶连通性递归传播嵌入；此外，通过利用图注意力网络的思想，我们生成级联传播的注意力权重，以揭示这种连通性的重要性。
在这里，我们首先描述一个单层，它由信息传播、知识感知注意力和信息聚合三个部分组成，然后讨论如何将其推广到多层。

Information Propagation

如图所示，一个实体可以被包含在多个三元组中，充当多个三元组链接和传播信息的桥梁，例如实体$i_2$，$e_1\stackrel{r_2}{⟶}{i}_2\stackrel{-r_1}{⟶}{u}_2$和$e_2\stackrel{r_3}{⟶}{i}_2\stackrel{-r_1}{⟶}{u}_2$，$i_2$具有属性$e_1$和$e_2$,因为$u_2$与$i_2$有交互，所以$e_1$和$e_2$体现了$u_2$的偏好，即$e_1$，$e_2$的信息可以传播到$u_2$

定义
给定一个实体$h$，以$h$为头实体的三元组的集合定义为
N h = { ( h , r , t ) ∣ ( h , r , t ) ∈ G } \mathcal{N}_{h}=\{(h, r, t) \mid(h, r, t) \in \mathcal{G}\} Nh​={(h,r,t)∣(h,r,t)∈G}
实体$h$的一阶连通性定义为
$${\mathbf{e}}_{{\mathcal{N}}_h}=\sum _{(h,r,t)\in {\mathcal{N}}_h}\pi (h,r,t){\mathbf{e}}_t$$
其中，$\pi (h,r,t)$控制着边(h,r,t)上每次传播的衰减因子，表示在关系r的条件下，从t传播到h的信息量。

Knowledge-aware Attention

通过注意力机制实现，我们将$t$到$h$的注意力得分取决于在关系$r$空间下$e_t$和$e_h$的距离，越近的实体传播越多的信息，在关系r空间中，采用内积衡量两个实体的距离。最后通过softmax函数标准化注意力得分。公式如下
$$\pi (h,r,t)={\left({\mathbf{W}}_r{\mathbf{e}}_t\right)}^{\top }\tanh \left(\left({\mathbf{W}}_r{\mathbf{e}}_h+{\mathbf{e}}_r\right)\right)$$
$$\pi (h,r,t)=\frac{\exp (\pi (h,r,t))}{{\sum }_{\left(h,r^{\prime },t^{\prime }\right)\in {\mathcal{N}}_h}\exp \left(\pi \left(h,r^{\prime },t^{\prime }\right)\right)}$$

Information Aggregation

最后一个阶段是将实体表示$e_h$及其ego-network表示$e_{N_h}$聚合为实体$h$的新表示，即$e_h^{(1)}=f(e_h,e_{N_h})。$我们使用三种类型的聚合器来实现$f()$。

• GCN聚合函数将两个表征相加，并进行非线性变换，如下所示
  $$f_{\mathrm{G}\mathrm{C}\mathrm{N}}=\text{ LeakyReLU }\left(\mathbf{W}\left({\mathbf{e}}_h+{\mathbf{e}}_{{\mathcal{N}}_h}\right)\right)$$
• GraphSage聚集函数将链接两个表示，然后通过一个非线性转换
  $$f_{\text{GraphSage }}=\text{ LeakyReLU }\left(\mathbf{W}\left({\mathbf{e}}_h\Vert {\mathbf{e}}_{{\mathcal{N}}_h}\right)\right)$$
• Bi-Interaction聚集函数考虑$e_h$和${\mathcal{N}}_h$两种不同的特征交互方法$$\begin{array}{rl}{f}_{\text{Bi-Interaction }}& =\text{ LeakyReLU }\left({\mathbf{W}}_1\left({\mathbf{e}}_h+{\mathbf{e}}_{{\mathcal{N}}_h}\right)\right)+\\ & \mathrm{LeakyReLU}\left({\mathbf{W}}_2\left({\mathbf{e}}_h\odot {\mathbf{e}}_{{\mathcal{N}}_h}\right)\right)\end{array}$$

高阶传播

通过高阶传播获取更多的高阶连接性信息，因此递归定义实体表示

$${\mathbf{e}}_h^{(l)}=f\left({\mathbf{e}}_h^{(l-1)},{\mathbf{e}}_{{\mathcal{N}}_h}^{(l-1)}\right)$$
其中，实体$h$在l-ego网络中信息传播定义如下：
$${\mathbf{e}}_{{\mathcal{N}}_h}^{(l-1)}=\sum _{(h,r,t)\in {\mathcal{N}}_h}\pi (h,r,t){\mathbf{e}}_t^{(l-1)}$$

模型预测

用户表示和物品表示
$${\mathbf{e}}_u^{\ast }={\mathbf{e}}_u^{(0)}\Vert \cdots \Vert {\mathbf{e}}_u^{(L)},{\mathbf{e}}_i^{\ast }={\mathbf{e}}_i^{(0)}\Vert \cdots \Vert {\mathbf{e}}_i^{(L)}$$
采用内积实现用户对物品的预测
$$\hat{y}(u,i)={\mathbf{e}}_u^{\ast \top }{\mathbf{e}}_i^{\ast }$$

模型优化

采用BPR损失函数
$${\mathcal{L}}_{\mathrm{C}\mathrm{F}}=\sum _{(u,i,j)\in O}-\ln \sigma (\hat{y}(u,i)-\hat{y}(u,j))$$
最终端到端的训练损失函数为
$${\mathcal{L}}_{\mathrm{K}\mathrm{G}\mathrm{A}\mathrm{T}}={\mathcal{L}}_{\mathrm{K}\mathrm{G}}+{\mathcal{L}}_{\mathrm{C}\mathrm{F}}+\lambda \Vert \Theta {\Vert }_2^2$$

数据集

开源代码地址

论文开源