LLM+推荐|利用大型语言模型进行表示学习以用于推荐

【摘要】在深度学习和图神经网络的影响下，推荐系统取得了重大进展，特别是在捕捉复杂的用户-项目关系方面。然而，这些基于图的推荐系统严重依赖基于 ID 的数据，可能会忽略与用户和项目相关的有价值的文本信息，导致学习到的表示信息量较少。此外，隐式反馈数据的使用会引入潜在的噪音和偏差，对用户偏好学习的有效性构成挑战。虽然将大型语言模型 (LLM) 集成到传统的基于 ID 的推荐系统中引起了人们的关注，但为了在实际的推荐系统中有效实施，需要解决诸如可扩展性问题、纯文本依赖的限制和提示输入约束等挑战。为了应对这些挑战，我们提出了一个与模型无关的框架 RLMRec，旨在通过 LLM 赋能的表示学习来增强现有的推荐系统。它提出了一种推荐范式，将表示学习与 LLM 相结合，以捕捉用户行为和偏好的复杂语义方面。 RLMRec 结合了辅助文本信号，开发了由 LLM 赋能的用户/项目分析范式，并通过跨视图对齐框架将 LLM 的语义空间与协作关系信号的表示空间对齐。这项工作进一步建立了理论基础，表明通过互信息最大化结合文本信号可以提高表示质量。在我们的评估中，我们将 RLMRec 与最先进的推荐模型相结合，同时分析了其效率和对噪声数据的鲁棒性。

原文：Representation Learning with Large Language Models for Recommendation
地址：https://arxiv.org/abs/2310.15950v4
代码：https://github.com/HKUDS/RLMRec
出版：www 2024
机构: University of Hong Kong, Baidu Inc.

更多文章解读，欢迎关注公众号“码农的科研笔记”

1 研究问题

本文研究的核心问题是: 如何利用大语言模型来增强现有推荐系统的表征学习能力。

假设我们正在为一个图书推荐网站开发推荐算法。传统的方法主要依赖用户的历史交互数据(如点击、购买记录)来学习用户和物品的低维表征,然后基于表征的相似度来生成推荐。但这类方法往往受限于交互数据的稀疏性和噪音,学到的表征难以准确刻画用户的真实兴趣。另一方面,大语言模型在理解文本语义方面展现出了惊人的能力。如果能利用语言模型从书籍描述、用户评论等文本中提炼知识,补充到协同过滤的用户-物品交互信息中,有望学到更加准确丰富的用户和物品表征,从而显著提升推荐的效果。但要实现这一目标,我们面临着诸多技术挑战。

本文研究问题的特点和现有方法面临的挑战主要体现在以下几个方面:

• 现有的图神经网络推荐模型主要依赖ID类型的交互数据,忽略了用户和物品相关的丰富文本信息,导致学习到的表征缺乏语义信息。

• 隐式反馈数据中存在着大量噪音(如误点、热门商品偏好等),给用户偏好学习带来了挑战。

• 将大语言模型直接应用于推荐任务面临着计算效率低、过度依赖纯文本、提示输入受限等问题,难以直接用于实际系统。

针对这些挑战,本文提出了一种灵活通用的"大语言模型增强表征学习(RLMRec)"框架:

RLMRec巧妙地利用表征学习来桥接基于ID的推荐模型和大语言模型。就像给机器装上一双"语义理解的眼睛",让它能透过用户行为数据洞察用户的真实需求。具体而言,RLMRec首先利用大语言模型对物品描述、用户评论等文本进行"语义提炼",生成信息丰富的用户和物品档案。然后,将档案表征和ID表征通过对比学习或生成式建模进行"跨视角对齐",找到一个二者互相匹配的语义子空间。这样一来,协同过滤信号中的噪音就能被语言模型的语义理解能力所净化,而推荐系统的个性化学习能力也能反过来帮助语言模型更好地适应特定领域。RLMRec所构建的这种语义增强表征,既继承了现有推荐系统的高效性,又吸收了大语言模型的强大语义能力,为个性化推荐开辟了一条全新的道路。

2 研究方法

论文提出了一个模型无关的框架RLMRec，旨在利用大语言模型(LLMs)增强现有推荐系统的表示学习。其核心思想是利用表示学习作为基于ID的推荐器和LLMs之间的桥梁。

2.1 RLMRec的理论基础

论文首先从理论上建立了引入文本信号增强表示学习的基础。假设存在一个隐藏的先验信念z，它对推荐有内在的好处，能帮助识别交互数据X中的真实正样本。协同过滤侧表示e的生成涉及有益的先验信念z和学习过程中不可避免的噪声。为了减轻噪声对表示的影响，论文引入文本信息s作为辅助线索。e和s都包含了与用户-物品交互相关的共享信息，这表明它们包含了对推荐有益的方面，与先验信念z一致。

论文证明，在给定隐藏先验信念z的情况下，最大化后验概率等价于最大化CF侧关系表示e和LLM侧语义表示s之间的互信息。进一步地，通过引入密度比，互信息最大化可以重新表述为最大化下界:

2.2 用户/物品剖析范式

为了获得准确捕捉用户交互偏好的用户和物品描述，论文提出了一种由LLMs赋能的剖析范式。考虑到数据集通常包含更多关于物品属性的文本描述，论文采用了item-to-user的生成范式。

对于物品描述的生成，论文精心设计了提示，指导LLMs总结吸引用户的物品特征。以亚马逊图书数据集为例，输入信息包括书籍的标题和原始描述。LLMs需要以JSON格式生成输出，并提供推理过程以确保高质量的总结。图7展示了一个物品描述生成的实例。

在生成用户描述时，论文利用了之前生成的物品剖析信息。提示中不仅包括用户对物品的反馈，还包括物品本身的描述。图8给出了一个用户描述生成的例子。通过综合利用物品描述和用户评论文本，LLMs能够更准确地捕捉用户的真实偏好。

2.3 互信息最大化中的密度比建模

为了对密度比进行建模，论文提出了两种方法:对比对齐和生成式对齐。对比对齐将建模为:

其中表示余弦相似度，表示将语义表示映射到特征空间的多层感知机。在对比对齐中，和被视为正样本对，学习过程将它们拉近。

生成式对齐借鉴了掩码自编码器(MAE)，通过重构来建模密度比:

其中是将表示映射到语义特征空间的多层感知机，是有掩码的。生成式对齐只为掩码样本重构语义表示。

2.4 模型无关学习

RLMRec的一个重要特点是模型无关性，可以与各种协同过滤推荐器无缝集成。假设推荐器R的优化目标为，则RLMRec的总体优化函数为:

最小化总体优化函数L对应于最大化前面提到的互信息。

算法1和算法2分别给出了RLMRec-Con和RLMRec-Gen的训练过程。两者的主要区别在于，RLMRec-Gen在基础模型编码CF侧关系表示之前，随机掩码一部分用户/物品，并基于掩码用户和物品的表示计算互信息最大化目标。而RLMRec-Con以对比的方式建模密度比，并为批次数据中的所有用户和物品(包括正负样本)计算。

4 实验

4.1 实验场景介绍

本文提出了RLMRec,一个通用的可以与现有推荐模型相结合的框架,利用大语言模型(LLMs)增强表示学习,从而提高推荐性能。论文实验主要验证RLMRec在多个数据集上与不同基线模型结合后的效果提升,以及探究其在处理噪声数据、预训练等场景下的潜力。

4.2 实验设置

• Datasets: Amazon-book、Yelp、Steam

• Baseline: GCCF、LightGCN、SGL、SimGCL、DCCF、AutoCF

• Implementation details:

  • 表示维度设为32,超参数通过网格搜索确定

  • 使用OpenAI的ChatGPT(gpt-3.5-turbo)生成用户物品profile

  • 使用text-embedding-ada-002生成语义表示

  • 训练时batch size=4096,学习率1e-3,使用Adam优化器

• metric: Recall@N和NDCG@N

• 环境: Intel Xeon Silver 4314 CPU + NVIDIA RTX 3090 GPU

4.3 实验结果

4.3.1 实验一、RLMRec在不同推荐模型上的性能提升(RQ1)

目的: 验证RLMRec与现有SOTA推荐模型相结合后的性能提升

涉及图表: 表1、表2

实验细节概述：将RLMRec-Con和RLMRec-Gen与6个SOTA推荐模型结合,在3个数据集上进行评估,每组实验重复5次取平均

结果:

• RLMRec可以持续提升所有backbone模型的性能

• 对比式方法在GCCF、SimGCL等模型上表现更优,生成式方法在AutoCF等涉及mask操作的模型上表现更优

• RLMRec相比另一个利用LLMs增强的方法KAR效果更好

4.3.2 实验二、语义表示对性能提升的贡献(RQ2)

目的: 探究语义表示对RLMRec性能提升的影响

涉及图表: 图4

实验细节概述：在Amazon数据集上,对比使用不同的语义编码模型以及随机打乱表示顺序的效果

结果:

• 随机打乱语义表示会导致性能下降,说明协同信号和语义知识的准确对齐很关键

• 采用不同的文本编码器,RLMRec仍能提升性能,且编码器捕捉语义能力越强,提升越明显

4.3.3 实验三、RLMRec处理带噪声数据的鲁棒性(RQ3)

目的: 探究RLMRec在训练数据中加入不同噪声比例下的性能

涉及图表: 图5

实验细节概述：在Amazon数据集上,以LightGCN为基线,向训练集加入5%到25%的噪声交互,对比RLMRec和基线的效果

结果:

• 在所有噪声比例下,RLMRec-Con和RLMRec-Gen都能持续超越LightGCN,展现了更强的抗噪性

• RLMRec-Con的抗噪能力略优于RLMRec-Gen,可能因为生成式方法本身通过mask引入了一些噪声

4.3.4 实验四、RLMRec作为预训练框架的潜力(RQ4)

目的: 探究RLMRec是否能作为一种预训练技术,使下游任务从中获益

涉及图表: 表3

实验细节概述：在Yelp数据集上,用2012-2017年的数据预训练,2018-2019年的数据划分为下游任务数据集,对比有无预训练和不同预训练方法的效果

结果:

• 使用预训练参数初始化LightGCN在下游任务上效果都优于无预训练

• 使用RLMRec预训练的参数初始化效果最佳,RLMRec-Gen略优于RLMRec-Con,可能mask操作起到了正则化作用,防止在预训练数据上过拟合

4.3.5 实验五、RLMRec的训练效率分析(RQ5)

目的: 分析RLMRec的训练时间开销

涉及图表: 表4

实验细节概述：在3个数据集上对比RLMRec-Con和RLMRec-Gen与原模型的每轮训练时间

结果:

• RLMRec-Gen的训练时间略低于RLMRec-Con

• 对于表现更优的大模型,RLMRec带来的额外时间开销在10%到20%左右

4 总结后记

本论文针对现有推荐系统存在的问题,如过度依赖ID信息、缺乏语义理解能力等,提出了一种基于大语言模型(LLM)的表示学习框架RLMRec。该框架利用LLM增强用户/物品的语义表示,并通过对比学习和生成式建模等方法将其与协同过滤信号对齐。实验结果表明,RLMRec可以显著提升多个现有推荐模型的性能,并展现出较强的鲁棒性和泛化能力。

疑惑和想法：

1. 除了基于LLM的表示增强,是否可以考虑利用图神经网络等其他强大的表示学习方法?两者是否可以互补?

2. 在对齐CF表示和LLM语义表示时,除了文中提到的对比学习和生成式建模,是否存在其他有效的对齐机制?不同机制的优劣如何?

3. 如何在RLMRec的基础上进一步利用LLM的推理能力,实现可解释的推荐?这可能需要探索LLM在推荐场景下的few-shot学习能力。

可借鉴的方法点：

1. 利用外部知识增强推荐系统表示学习的思路值得借鉴,可以考虑将其拓展到其他形式的外部知识,如知识图谱、多模态数据等。

2. 文中提出的cross-view对齐方法可以应用到其他存在多视角信息的场景,如社交网络、异构图等,用于统一不同视角下的表示。

3. 用LLM辅助构建用户画像的pipeline思路可以推广到其他需要用户理解的任务,如对话系统、个性化内容生成等,提升系统的个性化能力。