Sequential Recommendation with Latent Relations based on Large Language Model

Introduction

本文是清华THUIR实验室的一篇基于大模型的序列推荐的论文。
传统的序列推荐方法通常基于物品的协同过滤算法计算物品之间隐含的协同相似度，但是却忽略了物品间的显式关系。近年的研究提出了一些利用物品间的关系来建模用户偏好的方法，人为手动地定义物品之间的关系，显著地改进了序列推荐的效果，但是这些方法仍面临着稀疏问题，包括物品稀疏和关系稀疏。
为了解决关系稀疏问题，本文提出了一种名为“基于语言知识的物品隐含关系发现”方法（language knowledge-based LatentRelation Discovery ，LRD），利用大语言模型丰富的知识和语义表示能力来挖掘潜在的物品关系。此方法有3个优点：1）不需手动定义关系，能够自动发现物品间关系，更适用于真实世界物品之间关系多样和复杂的情况。2）关系发现的过程利于推荐任务。3）通过分析发现的关系使得推荐结果更有解释性。

Method

a.Latent Relation Discovery (LRD)

由于隐式关系不能被人工定义的关系数据集全覆盖，因此本文借鉴了论文DVAE[1]的思想，采用了一种自监督的学习方法。
优化的目标函数定义如下

利用詹森不等式，得到目标函数的下界。

其中$q$是预测两个物品之间关系的关系预测模型，$p$是重构物品表示的物品重构模型，$\psi$和$\theta$分别是两个模型的参数。𝐻 是一个熵项，用于正则化关系提取模型预测的概率，使得概率值的分布更加均匀。$\alpha$是超参数。

Relation Extraction

由于真实场景中物品关系的复杂性和多样性，难以通过人工手动的方式预定义关系。受到人类基于已有的知识通过语言描述物品间关系的启发，考虑到LLM具有人类世界知识和有效的语义表示，本文利用LLM提取物品的语言知识表示，并将其输入到关系提取模型中。
给定一个物品 v = { w 1 , w 2 , w 3 , . . . , w N v } v=\{w_1,w_2,w_3,...,w_{N_v}\} v={w1​,w2​,w3​,...,wNv​​},其中$w_i$表示物品文本的每个token。
然后将token序列输入到LLM中，以获得物品的语言知识表示，如公式(3)所示。

其中$LLM(.)$表示LLM最后的隐藏状态上的特定pooling策略，以获得输出物品表示。$W_1$和$b_1$分别代表投影层的权重和偏差，其用于降低LLM的输出的维度以匹配推荐模型的输入维度。
利用LLM丰富的世界知识，可以获得可能包含重要信息的物品表示（即语言知识表示），从而用于发现人工定义的关系集中未包含的关系。
接下来，关系提取模型𝑞(𝑟 |𝑣𝑖 , 𝑣−𝑖 ,𝜓 )将基于关系集R上的两个给定项的语言知识表示，即$e_i$和$e_{-i}$，来预测它们之间的关系。本文采用了轻量级线性分类器：

其中，$W_2$和$b_2$是线性分类器的权重和偏差，；表示连接操作

Relational Item Reconstruction

在得到隐含关系后，物品重建模型根据关系，关系对应的一对物品中的一个物品，来重构另外一个物品。具体定义如下：

其中$\varphi$是一个评分函数，本文采用了DistMult作为评分函数：

其中$diag(\mathbf{r})$是对角矩阵，关系嵌入 $\mathbf{r}$是它的对角元素。
公式5的计算量过高，本文使用了NLP领域中常用的负采样方法进行优化：

最终得到：

b.LRD-based Sequential Recommendation

Relation-aware Sequential Recommendation

给定用户交互历史 S u = { v 1 , v 2 , v 3 , . . . , v N u } S_u=\{v_1,v_2,v_3,...,v_{N_u}\} Su​={v1​,v2​,v3​,...,vNu​​}和目标物品$v_j$.
偏好评分函数定义如下：

其中$m_{u,j}$是考虑了历史物品和目标物品之间关系的用户历史交互表示。

其中AGG代表聚合函数，R是关系集合。$s_{u_j,r}$是$u$的给定关系$r$和目标物品$v_j$历史序列表示:

其中$\omega (v_i,v_j,r)$是物品$v_i$和$物品v_j$的关系强度，定义如下：

其中，𝜙 (𝑣𝑖 , 𝑣 𝑗 , 𝑟 )与公式5相同

Joint Learning

对于关系感知序列推荐任务，本文采用了BPR成对损失。优化目标是：

为了充分利用已经发现的隐含关系进行推荐任务，同时让用户交互数据指导关系发现过程，本文对公式8和公式13的目标函数进行联合优化。

c.EXPERIMENTS

SUMMARY

本文整体思路借鉴了NLP领域的论文DVAE，提出了一种基于大型语言模型 (LLM) 发现潜在项目关系的新方法，提升了序列推荐的性能。