KPRN：Explainable Reasoning over Knowledge Graphs for Recommendation面向推荐的知识图谱解释推理

emm…图片复制过来显示不了（因为我太懒了0.0），要看图的话可以去我的博客瞅瞅，嘿嘿嘿
对了，有些英文短句假如翻译成中文，阅读的时候就太搞脑子了，所以我干脆就不翻译了

https://hikg.net/archives/82/

Introduction

Prior Efforts

meta-path

使用meta-path从user、item中提取相似度

缺点：

1. meta-path排除了relation，所以几乎不能说明路径的整体语义（特别是当meta-path中，实体相似，但关系不同的时候）
2. 不能自动发现、推理未被发现的连接模式（因为meta-path需要预先定义领域知识）

KG Embedding

使用KGE来规范item的表示，因此连接了相似实体的item具有相同的表示

缺点：

1. 缺乏推理能力（ie只考虑实体间的直接关系，不考虑多跳关系路径）
2. 以一种相当隐含的方式来实现user-item连接的特征化（即：只是指导表示学习，并不去推断user偏好）

Aim of this work

目的：在路径上进行推理，以推断item的用户偏好

1. 推理方面：希望方法可以对 sequential dependencies of entities、sophisticated

   relations of a path connecting a user-item pair 进行建模

2. 可解释性方面：可区分不同路径的不同贡献

KPRN

不仅通过考虑实体、关系，来生成路径的表示；还基于路径执行推理，来推断用户偏好。

过程：

1. 首先从KG中抽取出user-item对之间的合格路径（每个路径都包含相关的实体、关系）
2. 然后采用LSTM网络对sequential dependencies of entities and relations进行建模
3. 之后采用pooling操作汇总路径的表示，以获得user-item对的预测（更重要的是，pooling操作可以区分预测中的不同路径的贡献）

1. Preference Inference via Paths

The triplets in the KG clearly describe direct or indirect(i.e. multiple-step) relational properties of items, which shall constitute one or several paths between the given user and item pair.

We explore these paths in order to achieve comprehensively reasoning and understanding for recommendation.

将从user u到item i的路径定义为实体、关系的序列：

$p=[e_1{\to }^{r1}{e}_2{\to }^{r2}\cdot \cdot \cdot {\to }^{rL-1}{e}_L]$

其中$e_1=u$，$e_L=i$，$(e_l,r_l,e_{l+1})$是序列p中的第$l$个三元组，L表示路径p中三元组的个数。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LC9TDlra-1612242320149)(https://n9.pw/images/2021/01/25/2021-01-23-09.41.39.png)]

这些是从Alice到Castle on the Hill的可能的多跳路径。暗含了各种组成语义、listen行为的可能解释。

P1、p2表明如下推断：Alice倾向于专辑Divide、歌手Ed Sheeran的歌

P3 表明了 Collaborative Filtering：similar users tend to have similar preferences

2. Task Definition

给定一个user u、一个目标item i、连接u和i的一组路径$P(u,i)=[p_1,p_2,...,p_k]$，通过以下式子估计interaction：

$f$表示具有参数$\theta$的基础模型，$y^{hat}$表示user-item交互的预测分数

与embedding-based方法不同，可以将$y^{hat}$视为由连接性$p(u,i)$推断得到的$(u,interact,i)$的置信度评分plausibility score

3. Modeling

KPRN将a set of paths of each user-item pair作为输入，并输出一个分数（表明user与目标item发生交互的可能性）

包含三个组成部分：

1. embedding layer：投影三种类型的ID信息（entity、entity type、the relation pointing to the next node into a latent space）
2. LSTM layer：将元素按顺序进行编码（目的是捕获 以关系为条件 的实体的组成语义）
3. pooling layer：结合多个路径，并输出给定user与目标item进行交互的分数

3.1 Embedding Layer

给定一个路径$p_k$，将每个实体的类型（如人类、电影）、具体值（如Peter、霍比特人）分别投影到两个embedding向量$e_l$、$e_l^{{}^{\prime }}$上。

并且，$p_k$中的每个关系都要表示为向量$r_l$：因为假如关系不同，相同的entity-entity对可能会有不同的语义。（若是不指定关系，这些路径将被表示为相同的embedding）因此将关系的语义 纳入路径表示学习很重要。

最终得到路径$p_k$的一组embedding：$[e_1,r_1,e_2,...,r_{L-1},e_L]$

3.2 LSTM Layer

在路径的$l-1$步，LSTM将$[e_1,r_1,...,e_{l-1},r_{l-1}]$和 最近的实体$e_{l-1}$、关系$r_{l-1}$的embedding作为输入，输出隐藏层的向量$h_{l-1}$。即以下式子（最后的实体$e_L$填充了一个空的关系$r_L$）：

如此，input vector不仅包含了顺序信息，还包含了实体的语义信息、其与下一个实体的关系。

因此，$h_{l-1}$、$x_{l-1}$用来学习下一个路径步骤$l$的隐藏状态。LSTM的公式如下：

$z_l=tanh(W_z{x}_l+W_h{h}_{l-1}+b_z)$

$f_l=\sigma (W_f{x}_l+W_h{h}_{l-1}+b_f)$

$i_l=\sigma (W_i{x}_l+W_h{h}_{l-1}+b_i)$

$o_l=\sigma (W_o{x}_l+W_h{h}_{l-1}+b_o)$

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2367EZks-1612242320151)(https://n9.pw/images/2021/01/25/2021-01-23-19.54.34.png)]

z：信息转换模块 $c_l$：cell(memory)状态向量
$i_l，o_l，f_l$分别表示输入、输出、遗忘门
圆圈+点：两个向量按元素做乘积
$h_L$表示整个路径$p_k$

建立了路径$p_k$的表示后，可以预测$(u,interact,i)$的置信度评分。为此，采用两个全连接层来将最终状态投影到预测分，从而进行输出。公式4为（其中，$W_1$，$W_2$分别是第一层、第二层的系数权重（为简化，省略了偏置））：

3.3 Weighted Pooling Layer

1个user-item实体对通常在KG中有一组连接它们的路径。$S=[s_1,s_2,...s_K]$是K个路径的预测分数，$P(u,i)=[p_1,p_2,...p_K]$连接一个user-item对$(u,i)$，其中的每个元素是上述公式4计算所得。

由于路径不同，会导致用户的偏好不同，所以设计了一个weighted pooling操作来汇总所有路径的分数。公式如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RljUcN3R-1612242320152)(https://n9.pw/images/2021/01/25/2021-01-24-21.00.233738d95a58a151f9.png)]

4. Learning

将推荐系统的学习任务看作 2分类问题：user-item交互过的标记为1，否则为0。

损失函数如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AwN56w4j-1612242320152)(https://n9.pw/images/2021/01/31/2021-01-31-16.16.15.png)]

实验结果：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6i81Mesf-1612242320153)(https://n9.pw/images/2021/01/26/2021-01-26-16.40.45.png)]

Conclusion

利用KG构造路径为额外的user-item连接，这是对user-item交互的补充。

提出了 knowledge-awarepath recurrent network来生成每条路径的表示（通过组合实体、关系的语义）在路径上采用LSTM，可以捕捉到元素的顺序依赖；并且可以在路径上进行推理，以推断user的偏好。