Learning Intents behind Interactions with Knowledge Graph for Recommendation学习笔记

文章来源

Xiang Wang, Tinglin Huang, Dingxian Wang, Yancheng Yuan, Zhenguang Liu, Xiangnan He, and Tat-Seng Chua. 2021. Learning Intents behind Interactions with Knowledge Graph for Recommendation. In Proceedings of the Web Conference 2021 (WWW '21). Association for Computing Machinery, New York, NY, USA, 878–887. DOI:https://doi.org/10.1145/3442381.3450133

背景

知识图谱(KG)在提高推荐的准确性和可解释性方面显示出巨大的潜力。KG中丰富的实体和关系信息可以补充用户和项目之间的关系建模。它们不仅揭示了项目之间的各种关联性(例如，由一个人共同导演的电影)，而且还可以用于解释用户偏好(例如，将用户对电影的选择归因于其导演)。

最近的技术趋势是开发基于图形神经网络的端到端模型。关键思想是利用信息聚合方案，它可以有效地将多跳邻居集成到表示中。从连接建模和表示学习的集成中受益，这些基于GNN-based的模型实现了有希望的推荐性能。 然而，现有的基于GNN的模型在关系建模中是粗粒度的，不能在细粒度的意图层次上识别用户-项目关系，以及利用关系依赖来保持远程连接的语义。

在本研究中，通过使用辅助项目知识来探索用户-项目交互背后的意图，并提出了一个新的模型——基于知识图谱的意图网络(KGIN)。从技术上来说，将每一个意图建模为KG关系的注意组合，鼓励不同意图的独立性，以获得更好的模型能力和可解释性。此外，我们为GNN设计了一个新的信息聚合方案，它递归地集成了远程连接的关系序列(即关系路径)。该方案允许我们提取关于用户意图的有用信息，并将它们编码成用户和项目的表示。

在Amazon-Book ，Last-FM ，Alibaba-iFashion这三个数据集上，该模型比目前主流的模型KGAT,KGNN-LS,CKAN效果要好得多。

进一步的分析表明，KGIN通过识别有影响的意图和关系路径为预测提供了可解释的解释。

源码：https://github.com/huangtinglin/Knowledge_Graph_based_Intent_Network

idea（目前模型欠缺的点）：

（1）一个用户通常有多种意图，驱使用户消费不同的项目。忽略用户意图的存在限制了用户-项目交互的建模。
（2）基于节点的方案不足以捕捉关系之间的相互作用。当前的研究中，信息聚合方案大多是基于节点的，即从相邻节点收集信息，而不区分信息来自哪条路径。

因此，本文针对上述两问题提出了KGIN。

KGIN模型

（1）用户意图建模
KGIN将每个意图与KG关系上的分布相关联。从技术上来说，意图嵌入是关系嵌入的一种注意组合，其中重要的关系被赋予较大的归因得分。此外，引入了独立性约束，以鼓励不同意图之间的显著差异，从而提高可解释性。

（2）关系路径感知聚合
与基于节点的聚合机制不同，KGIN将关系路径视为信息通道，并将每个通道嵌入到表示向量中。由于（用户-意图-项目）三元组和KG三元组是异构的，我们为这两个部分设置了不同的聚合策略，以便分别提取用户的行为模式和项目的相关性。简而言之，这种关系建模允许我们识别有影响的意图，并将路径的关系依赖和语义编码到表示中。
KGIN最终产生用户和项目的高质量表示。

交互数据：KGIN关注推荐中的隐式反馈，其中用户提供的关于ta的偏好的信号是隐式的(例如，查看、点击、购买)。

设U为一组用户，I为一组项目。

设O+= {(u，i)|u ∈ U，i ∈ I}为一组观察到的反馈，其中每个(U，I)对表示user u之前与项 I 有过交互。

在以前的一些工作中，如KGAT ，引入了一个额外的关系interact-with来显式地表示用户-项目关系，并将(u，I)对转换为(u，interact-with，I)三元组。

因此，用户-项目交互可以与KG无缝结合。

用户意图建模

（独立性建模，所有用户的共性）

假设用户和项目之间没有或只有一种交互关系，我们旨在捕捉用户的行为受多种意图影响的直觉。这里我们把意图框定为用户选择物品的原因，反映了所有用户行为的共性。

不同的意图抽象出用户不同的行为模式。由相似意图驱动的用户对项目有相似的偏好。

假设P是所有用户共享的意图集，我们可以将一个统一的用户-项目关系分割成|P |个意图，并将 每个(u，I)对 分解成 {(u，P，i)|p ∈ P}。因此，我们将用户-项目交互数据重组为异构图，称为意图图(IG)，它不同于以前工作中采用的同构协作图。

1.意向表征学习：我们为每个意向点分配一个KG关系分布——从技术上讲，采用一种注意力策略来创建意向嵌入。

α(r,p)是注意力得分，每个关系r的embedding都分配一个注意力得分以量化意图 Pi 中每个路径的重要性。其中注意力得分求解公式如下：

上式是一个归一化操作，Wrp是特定关系r和某一意图p之间的可训练权重。

2.意图的独立性建模
不同的意图应该包含关于用户偏好的不同信息。具有独特信息的意图将提供一个有用的角度来描述用户的行为模式。一个意图尽量不要推出另一个意图，保证意图的独立性，会有更好的模型容量和可解释性。
因此，为独立意图建模来表示学习，此处提供两个方法：

（1）交互信息：
我们最小化任何两个不同意图的表示之间的相互信息，以便量化它们的独立性。

s(·)是测量任意两个意图表示的关联的函数，在这里设置为余弦相似函数；τ是softmax函数中温度的超参数。

（2）距离相关：它测量任何两个变量的线性和非线性关联，当且仅当这些变量独立时，其系数为零。最小化用户意图的距离相关性使我们能够减少不同意图的依赖性。

其中dCor(·)是意向p和p’之间的距离相关性

其中dCov(·)是两个表示的距离协方差，dVar(·)是每个意图表示的距离方差。

优化这一损失可以鼓励不同意向之间的分歧，使这些意向具有明确的边界，从而赋予用户意向更好的解释能力。

关系路径感知聚合

自我节点的表示向量是通过递归地聚集和变换其多跳邻居的表示来计算的。

1.意图图上的聚合层

假设行为相似的用户对项目有相似的偏好，在用户意图的粒度级别上捕获更细粒度的模式。我们将个人历史(即用户以前采用的项目)视为个人用户的预先存在的特征。

从技术上讲，KGIN可以集成来自历史项目的意图感知信息，以创建用户u的表示。

用户的一阶嵌入由零阶嵌入（初始嵌入）聚合而成。f(·)是聚合函数，表示如下：

对于给定的用户，不同的意图将有不同的贡献来激励他的行为。因此引入一个注意力得分β(u，p)来区分意图 p 的重要性 （归一化）。

与以前的研究中使用衰减因子 或 L2正则化项 的想法不同，我们强调了聚合期间意图关系的作用。因此，通过元素方式的乘积来构造项目 I 的消息。结果是，我们能够在用户表示中明确地表达一阶意图感知信息。

2.知识图谱上的聚合层

我们将重点放在KG中的聚合方案上，由于一个实体可以包含在多个KG三元组中，它可以将其他连接的实体作为其属性，这反映了项目之间的内容相似性。

我们使用Ni= {(r，v)|(i，r，v) ∈ G}来表示项目 I 的属性和一阶连通性，然后集成来自连接实体的关系感知信息来生成项目 I 的表示。

我们将聚合器 f 中的关系上下文建模为:

3.捕获关系路径

在对eu(1)和ei(1)进行一阶建模之后，我们进一步堆叠更多的聚合层，以收集来自高阶邻居的有影响的信号。

得益于我们的关系建模，这些表示能够存储多跳路径的整体语义，并突出关系依赖性。

我们可以将表达式ei(l)改写如下:

这种表示反映了关系之间的相互作用，并保留了路径的整体语义。

模型预测

在L层之后，我们获得了user u 和 item i 在不同层的表示，然后将它们总结为最终的表示:


通过这样，路径的意图感知关系和KG关系依赖被编码在最终表示中。此后，我们使用用户和项目的最终表示的内乘 来预测用户采用该项目的可能性:

模型优化

我们选择BPR损失重建历史数据。
KGIN认为对于给定的用户，ta的历史项目应该比未观察到的项目分配到更高的预测分数:

通过结合IND和BPR损失，我们最小化以下目标函数来学习模型参数:

λ1和λ2分别是控制 IND损失 和 L2正则项 的两个超参数。

总损失 = BPR损失 + 用户意图独立性建模的损失 + L2正则化项

注：IG的独立性建模需要考虑注意力得分，KG不需要考虑注意力得分

模型分析
（1）模型大小：
使用非线性特征变换可能会使神经网络难以训练。因此，在KGIN的聚合方案中，我们丢弃了非线性激活函数和特征变换矩阵。
（2）时间复杂度：
KGIN的时间成本主要来自用户意图建模和聚合方案。在相同的实验设置(即不同层的表示大小)下，KGIN的复杂度与KGAT和CKAN相当。

数据集

Amazon-Book
Last-FM datasets
Alibaba-iFashion dataset

在训练阶段，每个观察到的用户-项目交互都是一个正实例，而用户以前没有采用的项目被随机抽样以将用户配对为负实例。

评估指标

所有这些项目都是基于推荐模型的预测进行排名的。为了评估 top-K 推荐，我们采用协议： recall@K 和 ndcg@K，其中K默认设置为20。

参数设置

为了公平，将所有方法的嵌入标识的大小固定为64，优化器固定为Adam，批处理大小固定为1024。

进行网格搜索以确定每种方法的最佳设置，更具体地说，在{1/10000，1/1000，1/100 }中调整学习速率，在{ 1/100000，1/10000，，，1/10 }中搜索附加约束的系数(例如，所有方法中的L2正则化、KGIN中的独立建模、CKE和KGAT中的TransR、KGNN-LS中的标签平滑度)，在{ 1，2，3}中调整基于GNN方法的GNN层数。此外，对于KGNNLS和CKAN，我们将邻域大小设置为16，批处理大小设置为128。我们用Xavier初始化模型参数，同时使用预先训练好的MF的ID嵌入作为KGAT的初始化。

在没有规范的情况下，我们将用户意图 P 的数量固定为4，将关系路径聚合层 L 的数量固定为3。

实验（K=20）

RQ1:与最先进的知识感知推荐模型相比，KGIN的表现如何？

KGIN在所有指标上始终优于三个数据集的所有基线。更具体地说，它在Amazon-Book ，Last-FM datasets ，Alibaba-iFashion dataset 分别比最强的基线w.r.t. ndcg@20提高了14.51%、13.97% 和 5.91%。这说明了KGIN的合理性和有效性。

我们将这些改进归因于KGIN的关系建模:

(1)通过揭示用户意图，KGIN能够更好地描述用户和项目之间的关系，并产生更强大的用户和项目表示。

(2)从我们的关系路径聚合方案中受益，KGIN可以保持路径的整体语义，并从KG收集比基于GNN的基线(即KGAT、CKAN、KGNN-LS)更多的信息信号。

(3)将不同的聚合方案应用于IG和KG，使得KGIN能够更好地将协作信号和项目知识编码成用户和项目表示。

KGIN善于发挥远程连接的潜力。

Alibaba-iFashion数据集的一阶连通性较好，一级连接(时尚服装，包括时尚员工)主宰着KG三元组。原因可能是：基于GNN的方法涉及额外的非线性特征变换，这对于训练来说是相当沉重和繁杂的。

RQ2:KGIN关系建模的改进设计有什么影响？(例如，用户意图的数量和独立性、关系路径的深度)

关系建模是KGIN的核心，进行消融研究以调查有效性。

（1）为了研究用户意图重要还是KG关系重要，消融结果如下：


通过对比可以看出，效果都不如之前的好。

（2）模型深度的影响

考虑改变关系路径聚合层的数量，堆叠更多的层能够将长距离连接 (即更长的路径) 携带的信息集成到节点表示中。这里我们在{1，2，3}范围内搜索 L

可以看出 前两个数据集中 KGIN-3 效果最好。
阿里巴巴数据集上，KGIN-2效果好。

推测原因：前两个数据集中，堆叠更多的层，探索由一些KG三元组连接的更多相关项目，并加深对用户兴趣的理解。与用户意图相关的更多信息从更长的关系路径中导出，更好地剖析了用户对项目的偏好。而阿里巴巴数据集更偏向于物品的一阶连接，这些都在KGIN-2中捕捉到了。

（3）意图数量的影响

我们在{1，2，4，8}的范围内改变 P ，在大多数情况下，增加意图数量会提高性能，再次强调了探索多种用户意图的好处。

在 Amazon-Book 中，超出|P | = 4再继续一个分区会降低准确性。一个可能的原因是，独立性建模鼓励了意图之间的不相关性，但也使得一些意图过于细粒度，无法携带有用的信息。

与 Amazon-Book上的结果相比，设置|P | = 8提高了 Last-FM 的准确性，尽管 Amazon-Book与 Last-FM 相比包含了更丰富的 KG 关系集。我们把这归因于两个数据集的差异。特别是Last-FM 中的 KG 是从专辑、歌曲、艺人的属性中转换而来的，而 Amazon-Book 中的 KG 是从 Freebase 中提取出来的，包含与用户行为无关的嘈杂关系。

为了调查独立性建模影响，消融实验结果如下：（显示了距离相关性的结果）

在接近KGIN-3推荐的可比性能时，KGIN-3w/o获得了更大的相关系数，并且未能区分用户意图，这对于理解用户行为仍然是不透明的。

RQ3:KGIN能否提供关于用户意图的见解，并给出解释的直观印象？

KGIN首先通过KG关系的各种组合归纳出意图——所有用户的共性。对于一个意图，关系的权重反映了它对影响用户行为的重要性。

学习的意图抽象出用户选择的共同原因。此外，由于独立建模，意图往往有明显的边界，从而从不同和独立的角度描述用户行为。

有些关系在多个意图中获得了很高的权重，比如 Last-FM 。这表明这种关系是与用户行为相关的常见因素。KGIN基于注意力得分搜索最有影响力的意图p。

具体事例
Amazon-Book（如下图）

Last-FM （如下图）

相关工作

与KG结合的现有推荐模型大致分为四类。

（1）基于嵌入的方法

主要关注一阶连通性，雇佣KG嵌入技术来学习实体嵌入，然后使用它们作为项目的先验或上下文信息来指导推荐器模型。虽然这些方法展示了知识感知嵌入的好处，但是它们忽略了高阶连接性。这使得它们无法捕捉两个节点之间路径的长期语义或顺序依赖关系，从而限制了它们揭示底层用户-项目关系的能力。

（2）基于路径的方法

通过提取经由KG实体连接目标用户和项目节点的路径来说明远程连接。然后这些路径用于预测用户偏好。推荐的准确性在很大程度上取决于路径的质量。
然而，两种主流的路径提取方法存在一些固有的局限性:
(1)当涉及大规模图形时，应用蛮力搜索容易导致劳动密集型和耗时的特征工程；
(2)当使用元路径模式来过滤路径实例时，需要领域专家预定义特定于领域的模式，从而导致向不同领域的较差的可传递性。

（3）基于策略的方法

从最近强化学习的成功中获得灵感，并设计强化学习代理来学习寻路策略。然而，稀疏的奖励信号、巨大的行动空间和基于策略梯度的优化使得这些网络难以训练和收敛到稳定和令人满意的解决方案。

（4）基于GNN的方法

建立在图形神经网络的信息聚合机制上，从单跳节点更新自我节点的表示；当递归地执行这种传播时，来自多跳节点的信息可以被编码在表示中，因此这些方法能够模拟远程连接。

我们 KGIN 专注于在意图的粒度上展示用户-项目关系，并将关系路径编码到表示中，以获得更好的性能和可解释性。

结论

在这项工作中，我们着重于知识感知推荐的关系建模，尤其是基于GNN的方法。
我们提出了一个新的框架KGIN，它从两个方面来实现更好的关系建模:
(1)在意图的粒度上揭示用户项关系，它与KG关系相耦合来展示可解释的语义；
(2)关系路径感知聚合，它集成了来自多跳路径的关系信息以细化表示。

我们进一步对KGIN w.r.t .推荐的有效性和可解释性进行了深入分析。当前的工作通常将基于KG的推荐框架作为监督任务，其中监督信号仅来自历史交互。这样的监督太稀少，无法提供高质量的陈述。

在未来的工作中，我们将在推荐中探索自监督学习，以便通过自监督任务生成辅助监督，并揭示数据实例之间的内部关系。此外，我们希望将因果概念，如因果效应推理、反事实推理和反推理引入知识感知推荐，以发现和放大偏差。