2024‘快手提出LLM-CF框架，借助LLM的链式思维（COT）推理提升推荐系统性能

最新推荐文章于 2025-04-17 07:02:39 发布

大靠山

最新推荐文章于 2025-04-17 07:02:39 发布

阅读量796

点赞数 18

文章标签：人工智能剪枝算法学习深度学习

本文链接：https://blog.csdn.net/m0_59235245/article/details/144544166

版权

Introduction

大语言模型（LLMs）在推荐系统（RSs）中有两种应用方式：直接作为推荐系统和增强现有推荐系统。尽管这些方法有效，但仍存在效率和协同信息利用不足的问题。为此，我们提出了 LLM-CF 框架，将 LLMs 的世界知识和推理能力融入协同过滤模型。该框架分为离线和在线两部分。

在离线部分，我们对 LLMs 进行指令调优，生成链式思维（CoT）推理，并构建数据集。在在线部分，我们检索相似内容，并使用 RecGen-LLaMA 生成的推理来增强推荐。实验结果表明，LLM-CF 在排名和检索任务中显著提高了推荐性能。

PRELIMINARIES

我们将推荐任务定义为一个多字段数据分类的二分类问题。数据集包含特征和二元标签，其中标签表示点击（1）或不点击（0）的行为。目标是学习一个函数来预测每个的点击概率，，其中是参数。

为了满足大语言模型的要求，我们遵循参考文献中的指令提示如图，从特征中提取文本格式的推荐特征并将其组织成一个“任务指令”。

该指令指导 LLM 根据用户的历史交互和其他用户特征来判断用户是否可能对目标物品感兴趣。LLM 生成二元响应“是”或“否”，其中“是”表示用户点击，而“否”表示用户不点击。

为了解决 LLM 利用协同信息不足的问题，我们提出了 LLM-CF 框架，该框架包括离线和在线两部分，如图所示。

Offline Service of LLM-CF

LLM-CF 的离线服务部分包括以下过程：

「RecGen-LLaMA 的训练」：我们提出了一种简洁且高效的参数指令调优方法，将推荐数据与通用指令调优数据结合，优化了模型的泛化能力和推荐能力之间的平衡。通过将这种方法应用于 LLaMA2，我们成功地训练了 RecGen-LLaMA，实现了最佳的泛化能力和推荐能力的平衡。

「CoT 推理生成」：我们设计了一个零样本 CoT 推理提示，促使 RecGen-LLaMA 基于推荐特征的文本表示生成 CoT 推理。这些与原始推荐数据一起形成了上下文 CoT 数据集。

CoT Reasoning Generation

为了使 RecGen-LLaMA 能够基于世界知识和协同过滤信息进行链式思维（CoT）推理，我们设计了 Chain of Thought 提示符。该提示符分解用户-物品交互，重新构建交互以分析关系，通过模拟人类推理过程分析用户数据。

以产品推荐为例，RecGen-LLaMA 首先分析用户交互历史和反馈评论，构建用户画像；接着介绍目标产品及其特性；最后分析用户画像与目标产品特性的匹配度。对于训练推荐数据，生成过程为

鉴于资源限制，我们从中均匀随机采样个训练样本用于 CoT 推理生成，结果为，与原始推荐样本结合，形成 In-context CoT 数据集。

Efficiency Analysis of Offline Service

在部署时，LLM-CF 显示出比之前基于 LLM 增强的推荐系统更高的效率。它避免了 LLM 的实时生成，只需对历史数据集进行周期性更新，从而成功地将 LLM 生成与推荐系统的在线服务解耦。接下来，我们将从 RecGen-LLaMA 的训练和生成两个方面分析其时间效率。

「训练」：实验结果表明，使用一半的推荐数据进行训练相比使用全部数据集能够获得更好的泛化能力，且推荐性能几乎相同。这表明我们可以通过使用少量推荐数据来微调 LLM，以增强推荐能力，从而显著降低 RecGen-LLaMA 的训练开销。

「生成」：在生成阶段，LLM-CF 在三种场景（新交互、新用户、新物品）中都不需要实时生成，进一步降低了系统在线服务的延迟。

Online Service of LLM-CF

在线服务部分的 LLM-CF 包括以下组件：

「上下文内推理物品检索」：找到与当前推荐数据最相似的个历史推荐物品，以提供协同过滤信息。

「上下文内链式思考（ICT）模块」：使用和进行上下文内链式思考学习，学习世界知识和推理引导的协同过滤特征。

「训练」：设计重建损失以增强上下文内物品中的推理，强化协同过滤特征中的世界知识和推理能力。

In-context CoT Examples Retrieval

检索模块负责查找与当前推荐数据相似的上下文推理物品。我们的方法不仅利用协同过滤信息，还结合了世界知识和推理能力，以增强协同过滤效果。

In-context Chain of Thought Module

ICT 模块通过上下文学习和链式思考方法，学习世界知识及协同过滤特征，以提高推荐效果。使用作为上下文物品，作为查询，形成 ICT 令牌：

ICT 模块首先将推荐特征、CoT 推理和标签编码成相应的令牌嵌入：

通过 transformer 解码器层对进行编码，生成 ICT 令牌的隐藏表示：

在世界知识和推理指导下的协同过滤特征是的最后一个令牌，即的最后一个隐藏表示：

Model-Agnostic Application

主要目标是学习参数为的函数，以预测，即。协同过滤特征可以增强基础模型：

对于排名模型，推荐特征之间的深度交互是必要的，通常通过拼接操作 [·, ·] 后续使用特征交互模块来学习深层次的交互。

Model Training

在模型训练阶段，对于每条数据，我们设计了一种重构损失，以进一步加强协同过滤特征中包含的世界知识和推理能力，其计算公式为：

其中表示上下文中的 CoT 物品数量。总损失计算为：

其中是控制重构损失和原始损失重要性的超参数，而是推荐数据的数量。

Efficiency Analysis of Online Service

如图所示，在线服务中，只有蓝色火焰模块需要在线计算。实验表明，ICT 物品数量只需个，ICT 标记序列长度为十几项左右。此外，还可以利用加速技术提升 transformer 解码器的计算效率。推荐模型的计算时间与底层模型大致相同，ICT 模块的标记嵌入和底层模型的输入只需计算一次。为减少维护大量 In-Context CoT 数据集的必要性，可以利用预计算的嵌入向量结合近似最近邻搜索算法来高效加速 In-Context CoT 物品的检索。

Experiment

Datasets

我们在三个不同领域的数据集上进行了实验。亚马逊评论数据集是推荐领域的一个基准，我们选择了其中的运动与户外、美容和个人护理、玩具与游戏三个子集，数据时间范围为2019年1月1日至12月31日，所有记录均被视为正面评价。

Experimental Results

LLM-CF 在 6 个骨干模型上的整体性能如表格所示，特别是在真实世界数据集上显著优于这些模型。

这些结果验证了 LLM-CF 的有效性，它能够整合知识库和推理指导下的协同过滤特征。我们还观察到 LLM-CF 的表现优于 KAR 和 KD，后两者分别忽略了协同过滤信息，并且由于优化目标不一致导致性能较差。

论文：https://arxiv.org/pdf/2403.17688

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述