（二十七）【2021 WWW】Learning Intents behind Interactions with Knowledge Graph for Recommendation

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OpZWgm7T-1634540652258)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018091530075.png)]

创新性

• 提出了新的GNN聚合方案
• 提出了意图图，每个意图图是将每个intent建模为KG关系的attentive combination！ 关系和关系之间也是有关系的，他们相互依赖可以同时决定了用户的选择

摘要

差异

知识图在推荐系统中扮演着越来越重要的角色。最近的一个技术趋势是开发基于图形神经网络（GNN）的**端到端模型。**然而，现有的基于GNN的模型在关系建模中是粗粒度的，

（1）无法在细粒度的意图级别识别user-item relation；

（2）无法利用关系依赖性来保留远程连接的语义。

新的模型

基于知识图的意图网络（KGIN）。从技术上讲，我们将each intent建模为KG关系的 attentive combination ，鼓励不同意图的独立性，以获得更好的建模能力和解释能力。此外，我们还设计了一种新的GNN信息聚合方案，该方案递归地集成了远程连接的关系序列（即关系路径）。该方案允许我们提取关于用户意图的有用信息，并将其编码为用户和项目的表示。在三个基准数据集上的实验结果表明，KGIN比KGAT[41]、KGNN-LS[38]和CKAN[47]等最先进的方法取得了显著的改进。https://github. com/huangtinglin/Knowledge\u Graph\u-based\u-Intent\u-Network。

2 PROBLEM FORMULATION

我们首先介绍用户项交互和知识图

交互数据

这里我们重点关注推荐中的隐性反馈[26]，其中用户提供的关于其偏好的信号是隐性的。（比如浏览、点击和购买）

$\mathcal{U}$是用户的集合，$\mathcal{I}$是items的集合； O + = { ( u , i ) ∣ u ∈ U , i ∈ I } O^{+}=\{(u, i) \mid u \in \mathcal{U}, i \in \mathcal{I}\} O+={(u,i)∣u∈U,i∈I}是一组观察到的反馈；其中每一$(u,i)$对表明了用户$u$在之前和物品$i$有联系； 在以前的一些文献中，如KGAT；引入了另一个交互的关系，以显式表示用户项关系，并将（u，i）对转换为（u，interactive with，i）三元组。因此，用户项交互可以与KG无缝结合。

Knowledge Graph

KG以异构图形或异构信息网络的形式存储现实世界事实的结构化信息，例如项目属性、分类法或外部常识知识。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sdesrfHl-1634540652262)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018094337604.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GFXCxspe-1634540652265)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018094625309.png)]

使用items和KG实体之间的映射（$\mathcal{I}\in \mathcal{V}$） KG能够分析项目，并为交互数据提供补充信息。

Task Description

给定$O^{+}$和KG $\mathcal{G}$，基于知识的推荐的任务就是学习一个函数来预测一个用户怎么采纳一个item

3 METHODOLOGY

我们现在提出了基于知识图的意图网络（KGIN）。图3显示了KGIN的工作流程。它由两个关键组成部分组成：

（1）用户意图建模，它使用多个潜在意图来描述用户-项目关系，并将每个意图表述为KG关系的一个精心组合，同时鼓励不同的意图相互独立；

（2）关系路径感知聚合，突出了远程连接中的关系依赖性，从而保留了关系路径的整体语义。KGIN最终生成用户和项目的高质量表示。

3.1 User Intent Modeling

意图图： 与先前基于GNN的研究[38,41,47]不同，该研究假设没有或只有一个用户与项目之间的交互关系，我们旨在捕捉用户行为受多个意图(意图就是用户选择的原因)影响的直觉。在这里，我们将意图作为用户选择项目的原因，这反映了所有用户行为的共性。

以电影推荐为例，意图的意思是：是对电影属性的不同考虑，如明星和合作伙伴的组合，或导演和流派的组合。不同的意图抽象出不同的用户行为模式。

这可以通过更细粒度的假设来强化广泛使用的协同过滤效果——这种相似性意图，驱动了用户对项目的偏好相似。这种直觉促使我们在意图的粒度上建模用户项关系。

假设作为所有用户共享的意图集$\mathcal{P}$，我们可以将统一的用户项关系切片为$|\mathcal{P}|$意图，并将每个（u，i）对分解为{（u，P，i）| P∈ $\mathcal{P}$} 。因此，我们将用户项交互数据重新组织为一个异构图，称为意图图(IG)，它不同于以前工作中采用的同构协作图[41,47]。

3.1.1Representation Learning of Intents

虽然我们可以用潜在向量来表达这些意图，但很难明确地识别每个意图的语义。一个简单的解决方案是将每个意图与KTUP[4]提出的一个KG关系相耦合。

然而，该解决方案仅孤立地考虑单个关系，而**不考虑关系的交互和组合，**因此无法细化用户意图的高级概念。例如，关系1和2的组合对意向1有影响，而关系3和4对意向2的贡献更大。因此，我们会考虑在KG上的分布关系来安排每个意图$p\in \mathcal{P}$，----从技术上讲，运用注意力策略创建意图嵌入。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lzxv2F9g-1634540652269)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018102852357.png)]

其中${\mathrm{e}}_r$是关系r的ID嵌入，它被分配了一个注意力分数α（r，p）来量化它的重要性，正式地：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ySO6Fe9l-1634540652285)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018103027788.png)]

其中$w_{rp}$是一个特定于特定关系$r$和特定意图$p$的可训练的权重。在这里，为了简单起见，我们使用权重，并在未来的工作中对复杂注意模块进行进一步的探索。

3.1.2 Independence Modeling of Intents

不同的意图不同的信息：不同的意图应该包含关于**用户偏好的不同信息[**23,24]。如果一个意图可以被其他意图推断出来，那么描述用户项关系可能是多余的，信息量也可能较小；相反，具有独特信息的意图将提供一个有用的角度来描述用户的行为模式。

因此，为了更好的模型容量和解释性，我们鼓励意图的表达彼此不同。在这里，我们引入了一个独立建模模块来指导独立意图的表示学习。

该模块可以通过应用统计度量（如互信息[2]、皮尔逊相关[33]和距离相关[32,33,43]）作为正则化器来简单实现。这里我们提供两种实现：

• Mutual information

  我们最小化任何两个不同意图表示之间的互信息，从而量化它们的独立性。这种想法与对比学习不谋而合[7,12]。更正式地说，独立性建模是：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vWpmba8E-1634540652289)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018103906899.png)]

​ 其中**$s(\cdot )$是测量任意两个意图表示关联的函数**，此处设置为余弦相似函数；

​ 其中$\tau$是softmax功能中温度的超参数

• Distance correlation

  它测量任意两个变量的线性和非线性关联，当且仅当这些变量独立时，其系数为零。最小化用户意图的距离相关性使我们能够减少不同意图的依赖性，其公式如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5wftaqNg-1634540652292)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018104309356.png)]

​ 其中，[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M4wiQUoN-1634540652294)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018104347706.png)]是两个意图$p$和$p^{/}$之间的距离；

​ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X204d8gt-1634540652296)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018104723653.png)]是两个意图表示的方差距离；

优化这种损失可以鼓励不同意图之间的分歧，使这些意图具有清晰的边界，从而赋予用户意图更好的解释性。

3.2 Relational Path-aware Aggregation

在对用户意图进行建模之后，我们继续在GNN基础范式下学习用户和项目的表示。

先前基于GNN的推荐模型表明，邻域聚合方案是一种很有前途的端到端方法，可以将多跳邻居集成到表示中。更具体地说，ego节点的表示向量是通过递归聚合和转换其多跳邻居的表示来计算的。

然而，我们认为当前的聚合方案大多基于节点，这限制了结构知识的好处，这是由于两个问题：

（1）聚合器专注于组合邻域信息，而不区分它们来自哪些路径。考虑图2中的示例，在ego节点1和它的2-hop邻居$v_2$之间有三个信息通道[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pgw7x8dQ-1634540652299)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018105742029.png)]在构建由$v_2$传递的神经信息时，基于节点的聚合器主要通过衰减因子变换和重新缩放$v_2$的表示，而不考虑不同通道的影响（缩放不是不同权重)。因此，它们不足以在表示中保留结构信息。

（2)当前基于节点的聚合器通常通过注意网络对衰减因子中的KG关系进行建模，以控制从邻居传播的信息量。这限制了KG关系对节点表示的贡献。此外，没有关系依赖被一个隐藏的方式捕获，因此，我们的目标是设计一个关系路径感知聚合方案来解决这两个限制。

3.2.1 Aggregation Layer over Intent Graph.

首先，我们将个人历史（即用户以前采用的物品）视为个人用户预先存在的特性。

在我们的IG中，我们可以通过假设具有相似意图的用户对item表现出相似的偏好，在用户意图的粒度级别捕获更细粒度的模式。

考虑在IG中的一个user $u$，我们使用表示意图感知历史和$u$周围的一阶连接。从技术上讲，我们可以集成历史item中的意图感知信息，以创建用户$u$的表示：

其中是用户$u$的表示;是描述每个一阶连接（u、p、i）的聚合函数。因此我们实现为：

而对于不同的意图将会对一个用户的行为不同的重要性，因此我们使用一个注意力分数来区分该意图$p$的重要性为：

${\mathrm{e}}_u^{(0)}$是用户u的ID嵌入，使得重要性分数个性化。

我们不用衰减因子或者是正则化项，我们在聚合中突出了意图关系的重要性。 因此我们通过元素乘积构造item $i$的消息

因此，我们能够在用户表示中显式表达一阶意图感知信息。

3.2.2 Aggregation Layer over Knowledge Graph.

然后，我们重点讨论以KG为单位的聚合方案。由于一个实体可以包含多个KG三元组，因此它可以将其他连接的实体作为其属性，以反映项目之间的内容相似性。

我们使用表示item $i$的属性和一阶连接性，然后集成来自连接实体的关系感知信息，以生成item $i$的表示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NgHHytxs-1634540652301)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018135743908.png)]

这里，我们考虑聚合器中的关系上下文。直观地说，每个KG实体在不同的关系上下文中具有不同的语义和含义。

为了控制不同上下文，原来的方法是通过注意力机制的衰减因子。 相反，我们将聚合器中的关系上下文建模为：

对于每个三元组$(i,r,v)$，我们设计一个关系信息，通过将关系建模为投影或旋转操作符。 因此，关系消息能够揭示三元组携带的不同含义，即使它们获得相同的实体。

类似的，我们可以获得每个KG实体$v\in \mathcal{V}$的表示。

3.2.3Capturing Relational Paths.

上面是一阶，这里是高阶。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KNBN8AaY-1634540652303)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018140728265.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9Dsmm2Hp-1634540652306)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018140900504.png)]关系路径表示为关系序列也就是$(r_1,r_2,...,r_l)$，我们可以重写表示如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Qpg85YXy-1634540652308)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141118169.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sx6FXcVp-1634540652310)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141140638.png)]

显然，这种表示反映了关系之间的交互，并保留了路径的整体语义。这与当前知识感知推荐中采用的聚合机制有很大不同，后者忽略了KG关系的重要性，因此无法捕获关系路径。

3.3 Model Prediction

经过L 层后，我们获得了用户u和item i在不同层上的表示，然后将它们汇总为最终表示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XZ9JUOE4-1634540652312)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141315847.png)]

3.4 Model Optimization

我们选择成对的BPR损失[26]来重建历史数据。具体而言，它认为，对于给定用户，其历史项目的预测分数应高于未观察到的项目：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cxiSdoJk-1634540652314)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141339506.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3iMLS4ga-1634540652316)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141437244.png)]

通过结合独立性损失和BPR损失，我们最小化以下目标函数来学习模型参数：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G1wFlUYK-1634540652319)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141452364.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8GTXdXKw-1634540652322)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141521294.png)]

4 实验

我们提供了实证结果来证明我们提出的KGIN的有效性。这些实验旨在回答以下研究问题：

RQ1：与最先进的知识感知推荐模型相比，KGIN的表现如何

RQ2：设计（例如，用户意图的数量和独立性，关系路径的深度）对KGIN关系建模的改进有什么影响

RQ3：KGIN能否提供关于用户意图的见解，并给出可解释性的直观印象？

4.1 实验设置

在实验中，我们使用三个基准数据集来推荐书籍、音乐和时装：

（1） 我们使用的是亚马逊图书和KGAT发布的最新FM数据集[41]；

（2）我们进一步引入阿里巴巴iFashion数据集[8]来研究项目知识的有效性。这是从阿里巴巴网上购物系统收集的时尚服装数据集。服装被视为推荐的item，每一套服装都由多个时尚物品组成（例如上衣、底裤、鞋子、配饰），这些物品遵循时尚分类法，被分配到不同的时尚类别（如牛仔裤、T恤衫）。我们提取服装的KG数据等属性，比如： 丢弃少于十次交互的用户和项目，过滤掉少于十个三元组的KG实体。

表1总结了数据集的统计信息，其中我们只列出了典型关系的数量，并在实验中用反向关系构造了三元组。紧跟之前的研究[41,45]，我们使用相同的数据分区。在训练阶段，每个观察到的用户项目交互都是一个积极的实例，而用户之前没有采用的项目则随机抽样，将用户配对为一个消极的实例。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5iH8InJj-1634540652324)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018142635299.png)]

4.1.2Evaluation Metrics.

在评估阶段，我们执行全排名策略[20]，而不是抽样指标。更具体地说，对于每个用户，她以前没有采用过的完整项目被视为负面，测试集中的相关项目被视为正面。所有这些item都是根据推荐人模型的预测进行排名的。 为了Top-K推荐，我们采用了recall@K和ndcg@K。 其中K默认是20. 我们报告测试集中所有用户的平均指标。

4.1.3Alternative Baselines.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yqQdyqHv-1634540652326)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018143036573.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MyQzTh51-1634540652328)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018143105718.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jQx6Z5LB-1634540652330)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018143046996.png)]

4.1.4Parameter Settings.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cexhePIe-1634540652332)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018144109049.png)]

关系可以被分配给意图！ 意图的意思就是让用户选择这个物品的关键！

对于一个意图，一个关系的权重表明了它对用户行为的重要性（也就是说上图中，关系都是从高到低排列后的选择的！！ ）学习意图抽象出用户选择的共同原因。

此外，由于独立性建模，意图往往有明确的边界，从而从不同和独立的角度描述用户行为。然而，p1和p3是高度敏感的

可以发现，一些关系在多个意图中都有很高的权重，比如Last-FM的version！ 那么这就是共同的特征的了，这叫做特殊特性。

Related Work

Embedding和path-based 自不用说！

policy-based ：

基于策略的方法[40,45,49,52,53]从强化学习（RL）最近的成功中得到启发，并设计RL代理来学习路径发现策略。例如，PGPR[49]利用策略网络来探索目标用户感兴趣的项目。这些基于RL的策略网络可以被视为蛮力搜索的高效且廉价的替代方案，蛮力搜索是会话推荐系统的骨干模型[10,21]。然而，稀疏的奖励信号、巨大的行动空间和基于策略梯度的优化使得这些网络难以训练并收敛到稳定且令人满意的解[50,52]。

GNN-based Methods：基于图形神经网络（GNN）的信息聚合机制[13,14,19,34,42]。通常，它包含从一跳节点更新自我节点的表示信息；当递归地执行这种传播时，来自多跳节点的信息可以在表示中编码。因此，这些方法能够模拟远程连接。例如，KGAT[41]将用户项交互和KG组合为一个异构图，然后对其应用聚合机制。CKAN[47]使用两种不同的策略分别传播协作信号和知识感知信号。最近，NIRec[17]提出将基于路径和GNN的模型结合起来，通过元路径引导的邻域在两个节点之间传播交互模式

然而，据我们所知，当前基于GNN的方法假设用户和项目之间只存在一种关系，但未探究隐藏的意图。此外，它们中的大多数都无法保持路径中的关系依赖性。我们的工作与他们的不同之处在于这些关系建模——我们专注于在意图的粒度上展示用户项关系，并将关系路径编码到表示中，以实现更好的性能和可解释性。