论文阅读05——A Knowledge-Aware Attentional Reasoning Network for Recommendation

《A Knowledge-Aware Attentional Reasoning Network for Recommendation》

摘要：

知识图谱感知推荐系统最近越来越受到业界和学术界的关注。现有的知识感知推荐方法通常通过对知识图谱中用户与项之间的路径进行推理来进行推荐，取得了较好的效果。然而，他们忽略了用户的个人点击历史序列，这更能反映用户在一段时间内的偏好。在本文中，我们提出了一种知识-感知-注意推理网络，该网络将用户的点击历史序列和用户与项目之间的路径连通性结合起来进行推荐。该算法不仅开发了一个基于注意力的神经网络，从用户点击的历史序列中提取用户的历史兴趣，还开发了一个层次注意力神经网络，利用用户和项目之间的路径推理，从而推断出用户对项目的潜在意图。基于用户的历史兴趣和潜在意图，KARN可以预测用户各自对候选项的点击概率。我们在Amazon review数据集上进行了实验，实验结果证明了我们提出的KARN模型的优越性和有效性。

引言

近年来，知识图(knowledge graphs, KGs)在许多领域都做出了重要贡献，如推荐系统tem (Zhang etal. 2018)、问答系统(He etal. 2018)等。kgs是一种有向异构图，它将节点实体和边表示为关系。许多结构化数据存储在KGs中，其中(h, r, t)表示头实体、手尾部实体的关系。用户-产品知识图以推荐字段为中心，提供了用户、产品及其相互关系的丰富知识。例如，用户-项交互的事实以三胞胎的形式组织起来，比如(James Cameron,IsDirectorOf, Aliens)，它们代表James cameronis电影《异形》的导演。

在进行个性化推荐方面做了大量的工作，大致可以采用基于分类协同过滤(CF)的方法(Das et al.2007;基于内容的方法(IJntema et al.2010;Zhang, Liu, and Gulla 2018)和混合方法(Liet al. 2011)。这些工作分析和处理各种相关数据，如用户档案、评级、评论和物品的附属物，以便进行个性化推荐。实际上，这些数据中隐含的大部分结构信息都可以用来建模推荐机制。近年来，将知识图引入推荐中成为一种非常流行的方法。将异构的多类型用户行为和项目知识集成成统一的图结构，对提高推荐系统的可解释性具有很大的潜力。在基于知识的推荐方法中，基于嵌入的推荐方法(Wang et al. 2018b)和基于路径的推荐方法(Wang et al. 2019)都取得了良好的推荐效果。重要的是，通过在KGs中搜索用户和项目的连通性信息，路径样式方法可以更好地支持推荐的可解释性。

在本文中，我们提出了一种知识感知的注意力推理网络(KARN)，它将用户的点击历史序列和用户与项目之间的路径连通性融合到KGs中进行推荐。KARN是点击率预测(CTR)的adeep学习模型，它以一个用户的点击历史序列和用户-商品对在KGs中的路径连接为输入，输出用户点击候选商品的概率。具体来说，对于user-item KGs中的每个item实体，KARN首先从文本知识(即它的标题)和上下文知识(即它的单跳邻居KGs)中提取item表示。然后设计两个关键评论的目的充分利用用户的点击他的顺序和路径。第一个组件,即SRA,递归神经网络的注意力网络,旨在捕获用户的历史兴趣表示从用户的点击历史序列。第二个组件-SRA首先利用SRA组件获取用户-物品对之间各路径的单路径特征，然后通过聚合多个不同权重的单路径模型对注意力网络进行映射，生成潜在用户的内表示。基于用户历史兴趣和潜在意图的表示，KARN计算确定用户是否单击候选项的概率。

综上所述，本文的贡献如下。

•我们提出了一种知识感知的注意力推理网络KARN，它将用户的点击历史顺序和KGs中的路径连通性融合在一起以供推荐。

•基于用户-项目知识图谱，结合项目的文本知识和上下文知识，提取项目表示。

•我们展示了两个组件，从点击序列和知识图谱路径中分别获得用户的历史兴趣和潜在意图。

•我们在Amazon数据集上进行了大量的实验，实验结果表明我们的模型KARN显著地达到了最佳性能。

模型

我们在图2中说明了KARN的框架。如图所示，KARN将用户单击的历史记录和用户-项目对之间的路径连接信息作为输入，并输出用户单击候选项目的概率。

该方法主要包括三个步骤:1)项目表示提取;

2)用户历史兴趣提取和用户潜在意图提取;

3)重复概率计算。

具体来说，在第一步中，KARN从用户物品KG中的文本知识和上下文知识中提取物品实体表示。第二步，KARN设计了两个关键成分SRA和A-SRA，分别提取用户故事兴趣和潜在意图的特征。最后，基于用户历史兴趣和潜在意图表示的融合，KARN计算一个概率来预测用户是否会点击候选项目。

项目实体表示

用户-项目知识图中的实体通常包括用户-实体、项目-实体和属性-实体(如项目的类别和品牌)。对于KG中的图书或电影等项目实体，我们从文本知识和上下文知识中提取项目表示。考虑物品的标题文本知识，标题通常给这个项目实体的主题,和物品的在KG中的上下文知识。因为上下文实体通常提供更多的互补信息改善项目的实体的可辨识性。

对于一个电影或者书籍，使用其标题作为其文本知识，直接相连的item作为其上下文特征。对于文本知识特征，使用CNN+local maxpooling提取其向量表示，

使用local max-pooling将最后的结果拼接。获得文本表征：

对于上下文特征，将上下文item表示取平均获取到上下文特征：

 

最终的item表示为：

用户历史兴趣提取

以获取用户的历史兴趣为目标，SRA被设计为递归神经网络和注意力网络的堆栈，它将用户点击的条目序列作为输入输出用户的历史兴趣表示

通过提取项目实体表示，我们可以得到输入项目序列{v1,v2，…, vt}} {I1、I2…,It}。LSTM的j步中，将第j个item embeddingij和j−1步LSTM的输出作为输入，输出中间表示hj∈rm，表示为:

对于隐藏层状态，使用attention机制获取最后的表示：

用户潜在意图提取

 

为了从用户-物品对之间的路径集获取潜在用户意图，设计了A-SRA组件，分为两个步骤:1)提取路径集中每个路径的单路径特征;2)通过对多个不同权重的单路径特征进行整合，获得用户潜在意图表达。

对于某个路径

考虑实体i的表示：拼接【实体，实体类型，关系】作为输入，实体表示同item表示，对于最后一个实体，padding一个null的关系向量，使用SRA获取特征。

概率计算

根据用户的历史兴趣表示，潜在用户的意图表示̄,给定用户对项目实体的陈述和项目表示，我们计算用户使用项目的概率。

实验