KARN 2020(AAAI) A Knowledge-Aware Attentional Reasoning Network for Recommendation

提出背景

现有的知识图谱推荐通过用户和物品之间的路径进行推理，忽略了用户的历史点击序列，用户的某段历史点击序列可以归纳出用户对某类物品的喜爱程度，从而进行更加准确的推荐。

本文贡献

• 我们提出了一种基于知识图谱的注意力推理网络KARN，该网络融合了用户的点击历史记录序列和KG中的路径连接以进行推荐。
• 我们通过结合基于用户物品知识图中物品的文本知识和上下文知识来提取物品表示。
• 我们提出了两个组件，分别从用户的点击序列和KG中的路径连通性获得用户的历史兴趣和潜在意图的特征。

基本架构

物品表示提取

我们从文本知识和上下文知识中提取项目表示。在这里，我们将物品的标题作为文本知识，因为标题通常给出了这个物品实体的主要主题，而将物品在KG中的近邻作为上下文知识，因为上下文实体通常提供更多的补充信息来提高物品实体的可识别性。

• 物品文本表示采用$CNN$
  $${\mathbf{v}}^{\prime }=g_1\left(\left[{\mathbf{p}}_1,{\mathbf{p}}_2,\dots ,{\mathbf{p}}_F\right]\right)$$
• 物品实体的嵌入
  $$\mathbf{v}\in R^d$$
• 物品上下文表示是所有与该物品相关的实体的文本表示的平均值
  $$\overline{\mathbf{v}}=\frac{{\sum }_{e_i\in C(v)}{\mathbf{e}}_i}{|C(v)|}$$
  将三者结合
  $$\mathbf{I}=g_2\left(\left[\mathbf{v},{\mathbf{v}}^{\prime },\overline{\mathbf{v}}\right]\right)$$

用户历史兴趣提取

为了获得用户的历史兴趣，SRA组件被设计为RNN和注意力网络的堆栈，该网络将用户的点击项目序列作为输入，并输出用户的历史兴趣表示。
{ v 1 , v 2 , … , v t } \left\{v_{1}, v_{2}, \ldots, v_{t}\right\} {v1​,v2​,…,vt​} as { I 1 , I 2 , … , I t } \left\{\mathbf{I}_{1}, \mathbf{I}_{2}, \ldots, \mathbf{I}_{t}\right\} {I1​,I2​,…,It​}
长短期记忆网络
$${\mathbf{h}}_j=\mathrm{LSTM}\left({\mathbf{h}}_{j-1},{\mathbf{I}}_j\right)$$
注意力网络
$$\begin{array}{rl}\mathbf{A}& =\mathrm{softmax}\left({\mathbf{W}}_1\sigma \left({\mathbf{W}}_2\mathbf{H}\right)\right)\\ \mathbf{a}& =f_a\left(\mathbf{A}{\mathbf{H}}^T\right)\\ \mathbf{s}& =\left[\mathbf{a};{\mathbf{h}}_t\right]\end{array}$$

用户潜在兴趣提取

1. 给定一个路径 p j = { e 1 , r 1 , e 2 , r 2 , … , e q } p_{j}=\left\{e_{1}, r_{1}, e_{2}, r_{2}, \ldots, e_{q}\right\} pj​={e1​,r1​,e2​,r2​,…,eq​}，$j=[1,\dots ,n]$，我们将当前实体$e_i$的嵌入、其实体类型$e_i^{\prime }$和关系$r_i$连在一起，作为LSTM单元的输入向量${\mathbf{x}}_i=\left[{\mathbf{e}}_i;{\mathbf{e}}_i^{\prime };{\mathbf{r}}_i\right]$。这里我们使用物品实体的物品表示，并为最后一个实体$e_q$定义一个空关系$r_q$，将其垫在路径的末端。因此，将输入路径嵌入表示为{x1，x2，…，xq}，它不仅包含了路径的顺序信息，还包含了实体的组成语义信息及其与下一个实体的关系。
2. 在确定了路径$p_j$的输入表示为 { x 1 , x 2 , … , x q } \left\{\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{q}\right\} {x1​,x2​,…,xq​}后，我们采用SRA网络来探索路径的顺序信息，并生成单路径表示来编码其整体语义为$s_j$ 。对于用户u与物品v之间的路径集 P ( u , v ) = { p 1 , p 2 , … , p n } P(u, v)=\left\{p_{1}, p_{2}, \ldots, p_{n}\right\} P(u,v)={p1​,p2​,…,pn​}，我们可以得到其特征表示为 { s 1 , s 2 , … , s n } \left\{\mathbf{s}_{1}, \mathbf{s}_{2}, \ldots, \mathbf{s}_{n}\right\} {s1​,s2​,…,sn​}。不同的路径对用户潜在意图的建模影响不同，因此我们利用SRA组件中使用的注意力机制来产生用户的潜在意图表示$\overline{s}$，它是多个单路径特征表示 { s 1 , s 2 , … , s n } \left\{\mathbf{s}_{1}, \mathbf{s}_{2}, \ldots,\mathbf{s}_{n}\right\} {s1​,s2​,…,sn​}的不同权重的聚合。

推荐概率计算

1. 结合历史兴趣和潜在兴趣
   $$\mathbf{u}=\mathrm{sigmoid}\left({\mathbf{U}}_1[\mathbf{s};\overline{\mathbf{s}}]+{\mathbf{b}}_1\right)$$
2. 预测点击率
   $$\tilde{y}=\mathrm{sigmoid}\left({\mathbf{U}}_2^T[\mathbf{u};\mathbf{I}]+b\right)$$

训练

输入

$X=$ { ( u , v ) , S ( u ) , P ( u , v ) , y } , \{(u, v), S(u), P(u, v), y\}, {(u,v),S(u),P(u,v),y}, where S ( u ) = { v 1 , v 2 , … , v t } S(u)=\left\{v_{1}, v_{2}, \ldots, v_{t}\right\} S(u)={v1​,v2​,…,vt​}
is the users’ history clicked item sequence, $P(u,v)=$ { p 1 , p 2 , … , p n } \left\{p_{1}, p_{2}, \ldots, p_{n}\right\} {p1​,p2​,…,pn​} is the set of paths between user $u$ and item $v,$ and $y$ is the label that equals to 1 if $X$ is the positive sample,otherwise 0.

损失函数

$$L=-\left\{\sum _{X\in {\Delta }^{+}}y\log (\tilde{y})+\sum _{X^{\prime }\in {\Delta }^{-}}(1-y)\log (1-\tilde{y})\right\}$$

数据集

亚马逊评论数据集