Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond (基于大语言模型的推荐系统：综述与展望)-全文翻译

Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond

原文地址

Abstract

面向下一代基于LLM的推荐系统：综述和超越王琦大型语言模型（LLM）不仅彻底改变了自然语言处理（NLP）领域，而且由于其卓越的语言理解能力，以及令人印象深刻的泛化能力和推理能力，有可能在许多其他领域带来范式转变。因此，最近的研究积极尝试利用LLM的力量来改善推荐系统，并且必须彻底审查基于LLM的推荐系统的最新进展和挑战。与现有的工作不同，这项调查并不只是根据LLM的技术框架分析基于LLM的推荐系统的分类。相反，它研究如何LLM可以更好地服务于推荐系统社区的角度来看，推荐任务，从而加强大型语言模型的集成到推荐系统的研究和实际应用。此外，长期以来，学术研究和推荐系统相关的工业应用之间的差距还没有得到很好的讨论，特别是在大语言模型的时代。在这篇综述中，我们介绍了一种新的分类法，起源于推荐的内在本质，深入研究大型语言模型为基础的推荐系统的应用及其工业实现。具体来说，我们提出了一个三层结构，更准确地反映了推荐系统从研究到实际实施的发展进程，包括代表和理解，策划和利用，以及工业部署。此外，我们还讨论了这一新兴领域的关键挑战和机遇。这些文件的最新版本保存在：https://github.com/jindongliAi/Next-Generation-LLM-based-Recommender-Systems-Survey。

1 INTRODUCTION

推荐系统已经成为我们数字生活中不可或缺的一部分。通过策划个性化的内容，产品和服务，这些系统促进了用户决策过程，增强了用户体验，并为行业的经济成功做出了贡献。最近，大型语言模型（LLM）由于其强大的泛化能力和推理能力，已成为增强推荐系统的基石，这导致了推荐范式领域的转变[157]。更重要的是，大型语言模型的出现为弥合研究和实际部署之间的巨大差距带来了新的机会，使推荐算法能够真实地转化为现实世界的应用[154]。这些进步有望彻底改变传统的推荐框架，并为推荐的新时代奠定基础。

随着越来越多的努力探索大语言模型（LLM）方法的推荐系统[28，112，160，179]，几个关键问题值得进一步研究。首先，当前的深度学习方法集中于通过用户/项目ID获得用户和项目的嵌入特征，以执行相似度计算用于推荐。然而，这些嵌入的精确语义意义往往仍然模糊不清。例如，一个特定的嵌入维度可能表示一个特定的属性，但这种解释很少被理解。大型语言模型具有推荐系统所缺乏的两个关键能力：（1）它们被赋予了丰富的事实和常识知识，这使它们能够提供通常超出推荐系统语料库的深入细节;（2）大型语言模型具有推理能力，包括项目的关联，用户行为的分析和偏好。他们特别擅长在复杂场景中处理复杂的用户行为。因此，大型语言模型如何帮助推荐系统更好地表示用户/项目并增强对推荐行为的理解是值得讨论的。

其次，现有的基于深度学习的推荐系统通常遵循以下流程：数据收集，特征工程，特征编码器，排名功能和推荐。大型语言模型的出现带来了多种使大型语言模型适应现有管道的方法。但大型语言模型的使用不应仅限于此，其强大的理解和生成能力可以带来新的研究范式，而这些范式在现有著作中很少被探索。因此，这需要全面概述大型语言模型到推荐系统中的潜在集成，这对于系统地指导LLM增强型推荐策略领域的研究和实际实现至关重要。

最后但并非最不重要的是，推荐系统的重要性主要在于它们在工业应用中的实际实现，服务于工业及其用户的需求。虽然学术界和工业界之间的差距一直是推荐系统的关注点，但大型语言模型通过其复杂的自然语言处理和理解能力为推荐算法的工业部署带来了新的机会。然而，大型语言模型在推荐场景中表现出一定的局限性，例如难以为推荐的产品分配精确的分数，这对于工业推广/广告等应用至关重要。因此，有必要从行业角度全面回顾基于法学硕士推荐系统的最新进展和挑战。

在本调查中，我们探讨了大型语言模型（LLM）在推荐系统中的应用，强调了当前方法的局限性，并讨论了该领域可能存在的挑战和机遇。值得注意的是，我们的调查与最近一些关于LLM推荐的调查不同。具体而言，该研究从推荐系统社区的角度探索了LLM优化推荐任务的方法，为大型语言模型时代的推荐系统研究和实现服务。相比之下，大多数现有的调查总结了现有的工作，盲目遵循NLP社区的LLM技术分类[18，58，69，81，138，171]或根据推荐方案[12，58]。如图1所示，表示和理解服务于更好的规划和利用的目的，最终导致在工业部署中的实施。更多详情见表1。总之，这项调查作出了以下贡献：

图1. 概述了基于LLM的推荐系统的三层分类法：（a）表示和理解，（B）规划和利用，（c）行业部署。

表1.本工作与现有调查的比较。

• 我们研究了法学硕士如何通过推荐系统社区的透镜增强推荐任务，与通常不加批判地采用法学硕士技术分类的现有调查形成鲜明对比。这将有助于为下一代基于LLM的推荐系统提供指导。
• 我们提出了一个三层分类法来总结基于法学硕士推荐的研究，这提高了推荐系统的表示和理解，促进了其在工业环境中的利用和部署的更有效策略。据我们所知，这是第一次全面讨论基于LLM的推荐系统从学术研究到工业应用的差距的调查，这有助于提高大模型纳入推荐系统的研究和实践。
• 我们讨论了下一代基于LLM的推荐系统探索的有前途的挑战和机遇，这可能有助于扩大这一未开发研究领域的范围。

本文的其余部分组织如下。在第2节中，我们将介绍推荐系统的简要历史，沿着符号和定义。第3节介绍了LLM如何提供更好的表示和理解建议。第4节说明了如何在框架中使用和计划LLM。第5节讨论了基于LLM的推荐系统如何弥合以前的研究和实际应用之间的巨大差距，促进推荐算法真正过渡到现实世界的使用。在第6节中，我们强调了基于LLM的推荐系统的主要挑战和机遇。最后，第7节总结了这项调查，并得出了一个充满希望的愿景，在研究社区的基于LLM的推荐系统的未来前景。图2显示了本次调查的结构和代表性作品。

图2 本文的结构与代表作

2 OVERVIEW

2.1 A Brief History of Recommender Systems

推荐系统的历史是一个跨越几十年的丰富叙述，反映了机器学习技术的发展。这段旅程开始于早期的简单推荐，推荐通常基于最受欢迎的项目或评分最高的项目。这些方法在提供个性化推荐方面的能力有限。随着数据收集变得更加强大，协同过滤[33，73]成为一种主导方法。该方法利用用户的集体偏好进行预测，或者通过比较用户之间的相似性（基于用户的协同过滤），或者通过比较项目之间的相似性（基于项目的协同过滤）。然而，协同过滤面临着诸如“冷启动”问题的挑战，即新用户或项目缺乏足够的数据来进行准确的推荐。

在2000年代，矩阵分解技术[46，53，93]被开发出来并获得了突出地位。这些方法成为解决数据稀疏性等挑战的重要解决方案。矩阵分解将用户-项交互矩阵分解为潜在因子，从而捕获用户和项之间的隐藏关系。这种方法提供了更好的可扩展性和准确性，特别是在大规模数据集中。神经网络的出现标志着该领域的重大转变，允许更复杂和细致入微的模型。早期的基于神经的方法，如受限玻尔兹曼机（RBM）和自动编码器，很快就被深度学习模型[34，137，140]所取代，这些模型可以捕获非线性关系和复杂的用户行为。像深度协同过滤[22，133]和神经协同过滤（NCF）[13，124]这样的技术通过利用多层网络，嵌入技术和注意力机制的力量扩展了传统方法的能力。

最近，大语言模型（LLM）的集成已经彻底改变了推荐系统。LLM，如GPT和BERT [19]，提供了前所未有的理解和生成自然语言的能力，已被用于增强推荐的性能。通过处理大量的文本数据，LLM可以提供高度个性化，动态和上下文敏感的建议。他们擅长理解细微差别的用户偏好，实时调整推荐，并支持超越简单项目推荐的复杂查询。这种向基于LLM的系统的转变代表了推荐技术的一个新时代，其重点不仅是向用户提供相关的，而且是上下文和语义丰富的体验。

2.2 Notations and Definitions

为了正式定义基于LLM的推荐系统的流程，在本小节中，我们将基于LLM的推荐系统所使用的符号和定义形式化如下。

2.2.1 Notations

我们定义了本文中使用的符号，这些符号在表2中进行了总结。对于 $r_{ui}$，通常可以分为两种情况：

1. 显式反馈 (Explicit Feedback)
   当 $r_{ui}$ 表示评分时，其通常取值于一个有限集合，例如 r u i ∈ { 1 , 2 , 3 , 4 , 5 } r_{ui} \in \{1, 2, 3, 4, 5\} rui​∈{1,2,3,4,5}，其中较高的值表示更强的偏好。有时，$r_{ui}$ 还可能包含一个 $0$，用于表示未评分的情况。

2. 隐式反馈 (Implicit Feedback)
   在涉及二值交互（如点击或购买）的场景中，$r_{ui}$ 是二值的，取值于 r u i ∈ { 0 , 1 } r_{ui} \in \{0, 1\} rui​∈{0,1}。其中，$0$ 表示没有交互，而 $1$ 表示观测到的交互。

用户和推荐系统中的物品可以分别用特征向量 ${\mathbf{x}}_u\in {\mathbb{R}}^d$ 和 ${\mathbf{y}}_i\in {\mathbb{R}}^d$ 表示，其中 $d$ 表示特征的维度。这些向量旨在概括用户和物品的核心特征。

• 用户特征向量 ${\mathbf{x}}_u$：可以包含人口统计信息、行为数据（例如，与物品的历史交互）或推断的偏好。
• 物品特征向量 ${\mathbf{y}}_i$：可以包括属性，如类别、价格、品牌或内容描述。

维度 $d$ 表示所考虑特征的数量，具体取决于特定应用或数据的可用性。这些向量是计算相似性度量或进行各种推荐算法预测的基础。

2.2.2 Definitions

定义1.推荐系统
推荐系统的目标是通过利用历史交互来预测项目对用户的效用。设 U = { u 1 , u 2 , … u m } U = \{\mathbf{u}_1, \mathbf{u}_2, \dots\mathbf{u}_m\} U={u1​,u2​,…um​} 表示用户集， I = { i 1 , i 2 , … i n } I = \{\mathbf{i}_1, \mathbf{i}_2, \dots\mathbf{i}_n\} I={i1​,i2​,…in​} 表示项目集。用户和项目之间的交互可以由矩阵 $R\in {\mathbb{R}}^{m\times n}$ 表示，其中每个条目表示交互级别，例如评分或二元指标。$r_{ui}$ 表示用户 $u$ 和项目 $i$ 之间的交互值。

• 预测函数： 推荐系统学习一个基于参数 $ \theta $ 预测用户 $ u $ 和项目 $ i $ 之间的交互 $ r_{ui} $ 的函数 $ f(u, i|\theta) $。目标是最小化所有观测到的交互中的预测误差：

  $$\underset{\theta }{\min }\sum _{(u,i)\in \mathcal{D}}{\left(r_{ui}-f(u,i|\theta )\right)}^2$$

  其中，$ \mathcal{D} $ 是观测到的交互集合。

• 推荐： 给定学到的函数 $ f(u, i|\theta) $，系统为每个用户 $ u \in \mathcal{U} $ 生成一个项目的排名列表 $ i \in \mathcal{I} $，通常通过根据预测得分 $ f(u, i|\theta) $ 对项目进行排序来实现。

定义2.基于大语言模型的推荐系统
基于大语言模型（LLM）的推荐系统利用大型语言模型来增强或优化推荐过程。简而言之，基于LLM的推荐系统以其能够利用LLM深层的上下文和语义理解能力来提高推荐任务的能力而定义。它们通过利用LLM中编码的广泛知识，将输入特征向量 ${\mathbf{x}}_i$ 转换为预测输出 ${\hat{y}}_i$，从而改善整体推荐质量和用户体验。将LLM集成到推荐系统中涉及以下组件：

• 大型语言模型 (LLM)： 表示为 $\text{LLM}(\cdot )$，该模型在大量文本数据上训练并拥有先进的上下文理解能力。LLM用于处理输入特征，并基于深度学习和上下文分析预测推荐。

• 精炼的预测函数 $f(\cdot )$： LLM生成或精炼预测函数。给定域 D = { X , P ( X ) } \mathcal{D} = \{\mathbf{X}, P(\mathbf{X})\} D={X,P(X)} 和任务 T = { Y , f ( ⋅ ) } \mathcal{T} = \{\mathbf{Y}, f(\cdot)\} T={Y,f(⋅)}，LLM产生一个精炼的预测函数 $f(\cdot )$，它将特征向量 ${\mathbf{x}}_i$ 映射到推荐标签 ${\hat{y}}_i$。

基于LLM的推荐过程的形式表示为：
$$\hat{f}(\mathbf{x})=\text{LLM}(\mathbf{X},\mathbf{Y},\theta )$$

其中，$\hat{f}(\mathbf{x})$ 是由LLM输出的精炼预测函数，$\mathbf{X}$ 是包含用户-项目交互向量的特征空间，$\mathbf{Y}$ 是代表可能推荐的标签空间，$\theta$ 代表LLM的模型参数，包括在训练过程中学到的权重和偏置。基于LLM的推荐系统的通用流程可以在图3中展示。

3 REPRESENTING AND UNDERSTANDING

随着大型语言模型（LLM）的出现，推荐系统正经历着从传统的、封闭的方法到更开放的、动态的框架的范式转变。这些模型带来了扩展的世界知识和先进的推理能力，增强了推荐系统的能力，不仅产生准确的建议，而且改善了中间过程，如用户和项目表示。在这个不断演变的环境中，表达和理解已成为关键。表示涉及创建用户和项目的细微的语义表示，分为单模态和多模态方法。理解的重点是阐明建议背后的理由，方法是在提出建议之前或之后进行解释。总之，这些方面对于开发更加有效和透明的推荐系统至关重要。

3.1 Representing

在现代推荐系统中，用户-项目交互的表示构成了生成准确且个性化推荐的基础。这种表示涉及多模态数据（包括文本、图像、音频、视频、元数据等）的融合与处理，以全面捕捉用户的偏好和项目的特征。令$X_r,X_{txt},X_{img},X_{aud},X_{vid},X_{seq},X_{time}$代表不同模态提取出的特征，包括用户-项目交互、文本数据、图像数据、音频数据、视频数据、序列数据以及时间戳数据。
这些特征随后被融合成一个统一的表示形式为：
$$X_{multi}=\text{Fusion}(X_r,X_{txt},X_{img},X_{aud},X_{vid},X_{seq},X_{time})$$

虽然这些例子突出了一些常见类型的多模态数据，但多模态输入的范围是广泛的，并且不断发展，包括各种其他形式的数据，这些数据也可能在增强推荐系统方面发挥关键作用。

随着推荐系统不断发展以满足用户的多样化需求，同时考虑数据的多样性和它所捕获的关系的复杂性变得至关重要。这导致我们探索两种不同但互补的方法：单一模式和多模式建议。单一模态建议侧重于利用用户-物品交互，利用图形数据来建模这些交互，偶尔补充文本信息以完善对用户偏好和物品属性的理解。相比之下，多模态方法通过整合来自多个源或模态（如文本、图像和视频）的数据而超越了单模态的边界。这种扩展利用了各种数据源的可用性，以提供对用户偏好和项目属性的更丰富的理解，从而提供更全面和灵活的推荐策略。通过区分这些方法，我们可以更好地了解每种方法对提供准确和个性化推荐这一总体目标的贡献。

3.1.1单模态。在单模态推荐中，主要的方法涉及利用基于图的方法来建模用户-项目交互。这些方法强调实体之间的结构关系，捕获数据中的模式以预测用户偏好。为了增强推荐系统的有效性，有时将文本信息集成到图结构中，从而添加语义上下文，这丰富了对用户偏好和项目属性的理解。这种结构化和语义数据的组合允许更准确和个性化的推荐，特别是在诸如顺序和基于会话的推荐的场景中，其中用户交互的动态和不断发展的本质要求实时适应性和响应性。

定义3. 单模态推荐。
单模态指的是利用单一类型数据的推荐系统。在这种方法中，用户-项目交互$\mathcal{R}$主要通过一种类型的数据来表示，比如用户的评分或互动历史，而不融合其他如图像、音频或视频等数据源。然而，在某些情况下，文本信息${\mathcal{T}}_{\text{txt}}$被整合进来以增强这种单一模态内的表示。

[68]认为仅使用基于ID或基于文本的项目序列表示来提示大型语言模型并不能充分利用其顺序推荐的潜力。它提出，LLM需要开发一个更深入的理解嵌入在顺序交互的行为模式。本文研究了LLM和顺序推荐系统之间的匹配，超越了简单的基于ID或基于文本的提示的使用。它提出了将“用户的顺序行为”作为推荐系统中的LLM的一种新模态，并将其与语言空间对齐。

[129]提出了一种新的基于检索器-重排序器框架下的动态反映-发散思维推理原理。[84]提出一种使用者浏览流模型（SINGLE）方法来为使用者推荐文章。它对持续的和即时的观看流进行建模，以更好地表示用户的兴趣，从而增强了对推荐的一般和实时偏好的提取。[174]介绍了一种在文本丰富的顺序推荐中利用大型语言模型的创新框架（LLM-TRSR）。该方法包括几个关键步骤：首先提取用户的行为历史序列，并将其转换为扩展的文本格式。然后将文本分割成多个块，每个块都被设计为适合大型语言模型的处理限制。最后，一个基于LLM的摘要，综合这些块，以产生一个全面的用户偏好摘要。[164]引入了一个新的视角来处理顺序推荐，其中评论的属性-意见被探索以精细地揭示用户偏好和项目特征。为了表示不同属性下的用户/项目，这项工作为每个属性创建了一个独特的特定于属性的用户-意见-项目图。[41]关注顺序推荐，并介绍了SAID，这是一个旨在利用LLM直接从文本中学习语义对齐的项目ID嵌入的框架。对于每个项目，SAID使用投影仪模块将项目ID转换为嵌入向量，然后由LLM处理以生成与项目相关联的精确描述性文本标记。所得到的项目嵌入进行了优化，以捕获文本描述中包含的详细语义信息。[71]介绍了一种新的多方面的范例，称为TransRec，连接LLM与推荐系统。具体来说，TransRec利用多方面标识符，集成ID、标题和属性来捕获唯一性和语义含义。[76]引入了一种基于链的提示技术，旨在揭示语义方面感知的交互，在细粒度的语义级别上提供对用户行为的更详细的见解。为了有效地利用不同方面之间的广泛交互，该工作提出了基于语义方面的图卷积网络（SAGCN），这是一种简单而强大的方法。[102]介绍了一个协作的配置文件生成范例和推理驱动的系统提示，强调推理过程中产生的输出的集成。RLMRec利用对比和生成对齐技术将协同过滤（CF）关系嵌入与大型语言模型语义表示对齐，有效地减轻了特征噪声。

[126]解决了在LLM中充分利用边缘信息的挑战，特别是在关键注意力机制中。该方法通过将用户和项目之间的直接关系，并构建项目之间的二阶关系，提供了一个复杂的关联，在传统的推荐数据缺乏增强模型的理解。[47]利用项目名称中固有的详细信息，这些信息通常包括可进行语义分析的特征，从而有助于更好地理解项目与用户的潜在相关性。建议的GenRec模型通过结合文本信息来增强生成式推荐性能。[112]通过引入结合文本ID学习的IDGenRec解决了生成式推荐系统中的项目编码问题。它提出了一个ID生成器，以产生独特的，简洁的，语义丰富的文本ID，是平台无关的，基于人类词汇。[179]扩展预训练的LLM用户/项目ID令牌的词汇表，以忠实地建模用户/项目协作和内容语义。此外，工作提出了一种新的“软+硬提示”的策略，有效地获得用户/项目协同/内容令牌嵌入通过语言建模推荐系统特定的语料库。它将每个文档分成由异构软（用户/项目）令牌和硬（词汇）令牌组成的提示和由同质项目令牌或词汇令牌组成的主文本。[117]考虑多个键值数据，因为这种常见的场景在现实世界的应用中是普遍存在的，其中用户信息（例如，年龄、职业）和项目细节（例如，标题、类别）包含多个键。

3.1.2多模态性。
在多模态推荐中，利用各种类型的数据，例如文本、图像、音频、视频和元数据，增强了推荐器系统提供更相关的建议的能力。在这种情况下，像图形增强和文本信息集成这样的技术是至关重要的。这些方法通过丰富用户-项目交互并结合不同的属性，解决了反馈稀疏和边信息质量低等问题。多模态大型语言模型（MLLM）的使用进一步支持复杂的实时数据源的集成，如用户活动的屏幕截图。该方法强调了可解释性、鲁棒性和跨领域、跨模态的自适应性，最终提高了推荐系统的有效性。

定义4. 多模态推荐。
多模态指的是整合来自多种模态数据的推荐系统，表示为$\mathcal{D}=\{(\mathcal{R},{\mathcal{T}}_{\text{txt}},\mathcal{I},\mathcal{A},{\mathcal{V}}_{\text{vid}},\mathcal{S},\mathcal{T})\}$，以提供用户和项目更加丰富和全面的表达。通过结合文本、图像、音频、视频、序列以及时间戳的信息，系统能够捕捉到用户偏好和项目特征的多样化方面，从而产生更加强大且细致入微的推荐。

[134]利用LLM通过增强用户-项目交互边、项目节点属性和用户节点配置文件来增强推荐系统中的图。它通过授权LLM明确推理用户-项目交互模式来解决隐式反馈信号的稀缺性。此外，它通过生成用户和项目属性并实现去噪增强机制来克服低质量边信息的问题。[50]该方法利用来自用户的因特网浏览活动的屏幕截图的信息。这种方法利用MLLM，它擅长处理和生成各种形式的内容。通过使用屏幕截图而不是网络日志，系统获得了更好的可解释性。屏幕截图的视觉特性为用户操作提供了清晰透明的描述，显著增强了对LLM推断的理解。[35]提出了一种利用生成式人工智能的最新进展对多模态非固定内容进行零镜头推荐的方法。所提出的方法涉及将不同模态的输入渲染为文本描述，并利用预先训练的LLM通过计算语义嵌入来获得它们的数值表示。[60]专注于增强基于位置的社交网络（LBSNs）中的推荐，并为下一个兴趣点（POI）推荐引入了创新的LLM 4POI框架。该框架不同于传统的数值方法，后者通常需要数据转换和使用各种嵌入层。相反，LLM 4POI保留了异构的基于位置的社交网络数据的原始格式，从而保留了上下文信息而没有任何损失。[153]提出了一种新的用户建模范式，从异构的用户行为数据中提取和集成不同的知识。通过将结构化的用户行为转化为非结构化的异构知识，有效地捕捉用户兴趣。在美团外卖语境下，用户异质行为包括：多个行为主体，如商家、产品;多个行为内容，如曝光、点击、下单;多个行为场景，如APP首页、小程序。[113]利用LLM的推理和摘要功能来有效地处理多模态信息。该研究利用LLM来总结用户评论文本，捕捉微妙的用户行为和偏好，并为图像生成描述性文本，提取有关业务和产品的隐含见解。[152]介绍了一种新的图像摘要方法的基础上多模态大语言模型（MLLM），反复总结用户的喜好在多个模态。这种方法可以更深入地了解用户的交互和兴趣，从而增强捕获和预测用户行为的能力。具体来说，这项工作首先利用基于MLLM的项目摘要从给定的项目中提取图像特征，并将图像转换为文本，使视觉信息更有效地集成到推荐过程中。[91]提出了一种称为交叉反射提示的新颖方法，称为X-REFLECT。交叉反射提示背后的核心思想是为大型多模态模型（LVMs）提供文本和视觉上下文，同时明确指导模型确定这些信息是支持还是矛盾的。然后将Lebron的输出转换为嵌入，这些嵌入用作后续推荐模块的输入项嵌入。

[105]考虑两类用户行为：历史点击和对话。输入功能是多模态的，包括文本、图像、音频等。它利用一个LLM预处理和总结的文本特征，每个项目和会话到简洁的句子。对于其他模态，它使用字幕模型（例如，BLIP-2 [55]，CLAP [21]）或多模态LLM（例如，MiniGPT-4 [177]，mPLUG-Owl [151]），可以处理各种类型的输入。这个预处理步骤的目标是压缩特征，消除冗余，并保持长期的上下文。

3.2 Understanding

基于大型语言模型的推荐系统利用外部世界知识和高级推理能力。这些模型可以包含外部知识，特别是特定于用户和项目的信息，如用户偏好、项目属性和行为模式。此外，由于其强大的推理能力，LLM可以深入了解用户的动机，以及用户，项目及其更广泛的社会背景之间的关系。因此，它们使人们能够更深刻地理解建议背后的基本原理。目前推荐系统中的解释方法可以根据推荐过程的阶段大致分类：推荐前解释和推荐后解释。下文介绍了具体定义和相关工作。

3.2.1 Pre-Recommendation Explanations.

定义5. 推荐前解释。
这一范式强调在推荐过程之前为项目生成解释，提供每个项目被考虑的明确理由，在最终决策做出之前给出清晰的理由。它包括：(i) 利用推理图；(ii) 利用节点之间的已知关系（如用户-项目交互、项目相似性以及社交联系）；(iii) 利用大语言模型通过多源信息提取和推理整合产生透明且可解释的中间见解，以证明为何某些项目会被纳入推荐考虑。设${\mathbf{h}}_u$表示用户$u$的潜在表示，${\mathbf{h}}_i$表示项目$i$的潜在表示。基于此，系统计算一个分数$s(u,i)=f({\mathbf{h}}_u,{\mathbf{h}}_i,{\mathcal{E}}_i)$，该分数将解释融入到推荐过程中：
$${\mathcal{E}}_i=\text{Explain}({\mathbf{h}}_u,{\mathbf{h}}_i)$$
函数$\text{Explain}(\cdot )$在对项目进行排序之前生成解释，提供关于为什么某个项目可能是良好匹配的洞察。
在这种情况下，$f({\mathbf{h}}_u,{\mathbf{h}}_i,{\mathcal{E}}_i)$是一个通过结合用户的潜在表示、项目的潜在表示以及解释${\mathcal{E}}_i$来计算相关性得分的函数，这个解释说明了为什么特定项目被考虑用于推荐。

[76]利用大型模型的能力，从原始评论中提取语义，并提出使用基于链的提示方法，以获得语义方面感知的评论，从用户项目的评论，这是用来辨别方面感知的交互。通过从不同方面学习来丰富嵌入，并通过集成语义方面来提高可解释性。[61]重点是概念推荐。它利用概念之间的结构关系来帮助学习型教师生成解释，解决了概念解释中的歧义问题。随后，他们使用名称、解释以及前后节点作为后续概念推荐的文本描述。[16]提出了一个即插即用的推荐增强框架，LLMHG，它协同LLM的推理能力与超图神经网络的结构优势。通过有效地分析和解释个人用户兴趣的细微差别，该框架在增强推荐系统的可解释性方面是先驱。[125]利用LLM通过合理蒸馏从评论中提取用户偏好和项目属性，获得清晰的文本知识。然后将此知识应用于用户交互的解释生成任务。[159]提出了一种基于图的会话路径推理（CPR）框架，该框架将会话表示为用户-项目-属性图上的交互式推理。这允许捕获用户偏好并基于图中的关系解释推荐。[127]采用了一个基于LLM的框架，利用LLM生成新的推理链。提示符将下一项、现有推理链和用户属性作为输入。它输出一组全面的潜在的新推理链，以解释为什么用户可能会选择下一个项目。

3.2.2 Post-Recommendation Explanations.

定义6. 推荐后解释。
在此范式中，解释是在推荐做出之后提供的，允许用户理解为什么建议某些项目。给定一组推荐项目 I u ∗ = { i 1 ∗ , i 2 ∗ , … , i k ∗ } \mathcal{I}_u^* = \{i_1^*, i_2^*, \ldots, i_k^*\} Iu∗​={i1∗​,i2∗​,…,ik∗​}，系统生成相应的解释集 E u ∗ = { E i 1 ∗ , E i 2 ∗ , … , E i k ∗ } \mathcal{E}_u^* = \{\mathcal{E}_{i_1^*}, \mathcal{E}_{i_2^*}, \ldots, \mathcal{E}_{i_k^*}\} Eu∗​={Ei1∗​​,Ei2∗​​,…,Eik∗​​}。这里，${\mathcal{E}}_{i_j^{\ast }}$表示为什么项目$i_j^{\ast }$被包含在对用户$u$的推荐中的解释。挑战在于确保这些解释既具有信息量又个性化，与用户的偏好和推荐的具体情境相一致。令$s(u,i_j^{\ast })$表示用户$u$与项目$i_j^{\ast }$之间的相关性得分，这反映了该项目与用户偏好的匹配程度。数学上，问题可以表示为：
$${\mathcal{E}}_{i_j^{\ast }}=\text{Explain}(s(u,i_j^{\ast }),{\mathbf{h}}_u,{\mathbf{h}}_{i_j^{\ast }})$$
其中${\mathbf{h}}_u$和${\mathbf{h}}_{i_j^{\ast }}$分别是用户和项目的隐藏表示。

[89]LLMXRec是一个两阶段可解释的推荐框架，旨在通过使用LLM进一步提高解释质量。它强调了推荐模型和基于LLM的解释生成器之间的密切合作。[146]设计了两个可解释的质量奖励模型，以在强化学习范式中微调骨干模型，使其能够生成高质量的解释。[122]提出了LLM 4Vis，一种基于ChatGPT的提示方法，可以执行可视化推荐并返回类似于人类的解释。它通过考虑前几代和基于模板的提示来迭代地改进生成的解释。[167]开发了一个基于ChatGPT的会话式推荐系统，研究了提示引导（PG）和推荐域（RD）对整体用户体验的影响，发现PG显著增强了系统的可解释性、适应性、感知易用性和透明度。[27]介绍了数据级推荐解释（DRE），黑盒推荐模型的非侵入性的解释框架，它采用了数据级对齐的方法来对齐的解释模块与推荐模型。[97]开发了一个模型，使用用户和项目输入的ID向量作为GPT-2的提示，通过多任务学习框架内的推荐和解释任务的联合训练机制进行优化。[24]关注下一个兴趣点（POI）推荐任务，通过考虑重要因素来促使LLM推荐Top-K POI并为返回的建议提供解释。[108]使用ChatGPT的会话能力来提供人性化的推荐解释，评估了用户对ChatGPT生成的解释的感知。[101]提出了一个称为逻辑支架的框架，它结合了基于方面的解释与思想链的概念，促使通过中间推理步骤生成解释。[26]采用联合排名/解释模块，它使用LLM从正在进行的对话中提取用户偏好。它为显示给用户的每个项目生成自然语言理由，增强了系统的透明度。[29]提出了一个新的范例，称为聊天记录，它将用户配置文件和历史互动到提示。它利用ChatGPT来学习用户偏好，使推荐更具可解释性。[107]开发一个web应用，该web应用利用ChatGPT来基于用户偏好生成电影推荐和所述推荐的解释。[175]建立了现代LLM是一个有前途的来源ofpost-hoc解释，可以伴随项目建议与相关摘要，以提高用户满意度。[1]利用知识图（KG）的潜力对教育内容进行建模，以支持基于LLM的聊天机器人为学习建议生成更相关的解释。[2]结合知识图和GPT模型，KG被用作上下文信息的来源，以支持LLM为学习建议生成更相关的解释。[67]提出了一个图书推荐系统框架BooKGPT。它甚至可以根据读者的属性和身份信息进行个性化的可解释内容推荐。

[77]设计LLMRec，一个基于LLM的推荐系统，设计用于基准LLM，开发并发现监督微调（SFT）可以增强LLM的解释生成任务的能力。[66]提出了一个框架，用于生成个性化的自动提示的推荐语言模型，PAP-REC，它取代了人工提示设计，并可以处理解释生成的任务。[128]设计RecMind，一个LLM-powered自主推荐代理与自我启发算法，提高解释生成利用外部知识和历史信息。[56]将离散的提示提取为一组连续的提示向量，这些提示向量用作可解释任务中的提示。

4 SCHEMING AND UTILIZING

LLM的出现在推荐系统中引入了一种新的范式，引发了对如何有效地将LLM集成到推荐框架中的广泛研究。这方面的研究可以分为非生成性基于LLM和生成性基于LLM的方法，这取决于框架是否需要计算每个候选人的评分来确定推荐。这些方法和传统推荐系统之间的区别如图4所示。为了更清楚地了解LLM如何在这些框架中使用，图5将这些方法进一步分类为两种主要策略：LLM再训练和LLM重用。这种分类是基于LLM的参数是改变还是不变。为了便于在以下小节中进行讨论，我们提供了与这些策略相关的几个定义：

定义7.非创成式基于LLM的建议案。基于非生成式语言学习机的推荐是一种利用大型语言模型，将语言学习机对自然语言的理解融入到推荐过程中，从而增强传统推荐任务的一种模式。与生成式方法不同，基于非生成式LLM的方法不直接生成作为自然语言输出的推荐。相反，它们使用LLM来提高推荐模型的准确性和相关性，例如通过利用嵌入在预先训练的语言模型中的语义理解来增强排名、评分或特征提取。这些方法通常涉及多阶段过程，其中LLM有助于特定阶段，例如特征富集或排序。

定义8.一般性建议生成式基于LLM的建议。基于生成式LLM的推荐是一种通过将大型语言模型转换为自然语言任务来利用大型语言模型执行推荐任务的范例。该方法允许生成式推荐，其中系统直接产生要推荐的项目，而不是如在传统推荐模型中看到的那样计算每个候选项目的排名分数。该方法通常将推荐过程从多级过滤简化为单级生成[43，47，57，143]。

定义9.一般性建议法学硕士再培训。LLM再训练是指修改预先训练好的大型语言模型的参数LLM，使之适应特定推荐任务的过程。𝜃这可以涉及诸如微调之类的技术，其中LLM的知识与推荐系统的特定特性和数据相匹配。再培训的目标是通过使LLM的能力适应任务的特定领域要求，来增强建议的个性化、准确性和有效性。这可以在数学上表示为优化损失函数L（LLM; Dtask），其中Dtask表示特定于推荐任务的数据集。

定义10.第11条LLM重复使用。LLM重用涉及利用预先训练的大语言模型，而不修改或仅对其参数进行最小修改。该策略充分利用了LLM已有的能力和知识，重点优化了模型在推荐系统中的使用方式。这一类的方法通常涉及调整输入X、输出或中间处理阶段的处理方式，而不改变LLM的核心参数。𝜃𝑦LLM重用对于保持计算效率和保持原始模型的泛化能力同时仍然提高推荐性能是特别有利的。

图5.用于基于LLM的推荐系统的不同范例：（a）朴素的微调：使用域/任务特定的数据来定制模型以在特定的推荐任务中表现出色;（B）指令调整[162]：优化模型的能力以遵循不同的推荐指令和查询;（c）低秩自适应（LoRA）[40]：以最小的改变有效地调整推荐模型，保持核心参数不变;（d）直接利用：在其预训练状态下直接利用模型，而不需要额外的微调或训练;（e）即时调整：优化特定的推荐提示，以定制模型的响应，同时保持基础模型参数不变;以及（f）上下文内学习（ICL）：使用输入中的上下文示例和提示来动态地引导模型的推荐，而不改变模型的参数。

这种分类框架使人们能够彻底理解不同的基于LLM的推荐策略。通过明确区分这些方法，我们可以更好地评估和选择最适合特定推荐场景的策略。这种全面的理解最终促进了LLM在推荐系统中的有效和高效应用，确保其功能以符合任务要求和限制的方式得到利用。

4.1 Non-Generative LLM-based Approaches

非生成式方法通常需要单独计算每个候选人的排名分数以确定推荐结果。我们将这些非生成方法分为LLM再训练和LLM重用。LLM再训练涉及修改LLM的参数，而LLM重用不需要或仅需要最小的参数改变。

非生成式方法侧重于利用大规模语言模型（LLM）的预训练知识来推荐项目或行动，而不创建新的内容。它不是生成新的输出，而是直接从模型学习到的表示中提取信息，基于现有的数据模式做出预测或建议。设 X = { x 1 , x 2 , … , x n } \mathbf{X}=\{x_1, x_2, \ldots, x_n\} X={x1​,x2​,…,xn​}代表输入数据，其中每个$x_i$是对应用户或上下文的特征向量，而 Z = { z 1 , z 2 , … , z k } \mathbf{Z}=\{z_1, z_2, \ldots, z_k\} Z={z1​,z2​,…,zk​}代表一组可被推荐的候选项目或行动。

非生成式方法涉及使用预训练的大规模语言模型根据输入数据$\mathbf{X}$对来自$\mathbf{Z}$中的项目进行排序或选择，而不生成新项目。这是通过一个参数为$\varphi$的函数$R_{\varphi }(\cdot )$实现的，该函数计算给定输入数据下每个候选项目的相关性得分。相关性得分集$\mathbf{Y}$定义如下：

Y = R ϕ ( X , Z ) = { r ϕ ( x 1 , z 1 ) , r ϕ ( x 2 , z 2 ) , … , r ϕ ( x n , z k ) } \mathbf{Y}=R_\phi(\mathbf{X},\mathbf{Z})=\{r_\phi(x_1,z_1),r_\phi(x_2,z_2),\ldots,r_\phi(x_n,z_k)\} Y=Rϕ​(X,Z)={rϕ​(x1​,z1​),rϕ​(x2​,z2​),…,rϕ​(xn​,zk​)}

其中$r_{\varphi }(x_i,z_j)$表示通过函数$R_{\varphi }(\cdot )$计算出的对于输入$x_i$而言项目$z_j$的相关性得分。此函数通常采用相似度测量和检索方法，并可能对LLM的嵌入进行微调以增强模型对用户-项目交互的理解。

非生成式建模过程。形式上，非生成式方法可以表示为：

$$\mathbf{Y}=R_{\varphi }(\mathbf{X},\mathbf{Z})=\underset{z\in \mathbf{Z}}{\mathrm{argmax}}P(z|\mathbf{X})$$

其中$P(z|\mathbf{X})$代表给定输入数据$\mathbf{X}$时推荐项目$z$的概率或相关性得分。目标是选择使每个输入$x_i$的概率最大化的项目$z$，从而从集合$\mathbf{Z}$中识别出最合适的推荐。

4.1.1大规模语言模型再训练。
在本节中，我们考察了大规模语言模型再训练下的三种关键方法：朴素微调、指令调优和低秩适应（LoRA）。每种方法都代表了一种不同的调整模型参数以提高其在推荐任务中表现的方法。

Naive Fine-Tuning。[118]发现在训练之后，进一步微调上下文感知嵌入和推荐LLM将导致更好的性能。[77]探讨有监督的微调对提高法学硕士教学依从性的有效性。基准测试结果表明，LLM在基于准确性的任务（如顺序和直接推荐）中仅表现出中等程度的熟练程度。[8]发现为推荐任务微调LLM使其不仅能够学习任务而且能够在一定程度上学习域的概念。它还表明，微调OpenAI GPT比微调Google PaLM 2带来了更好的性能[32]。[31]使用LLM来提取领域不变特征，以帮助处理推荐中的冷启动问题。[45]通过设计一个GPT-4的仿真数据集，对一个70亿个参数的模型进行了微调，提高了交互式推荐的能力。[36]使用提示-完成对形式的数据集特定信息来微调LLM，并要求模型为测试提示生成下一项建议。[25]提出利用会话推荐系统的性能反馈，通过强化学习对LLM进行微调，以提高推荐性能。[63]探索通过将新闻推荐制定为直接排名和评级任务来微调ChatGPT。[9]提出了通过对编码推荐知识的数据样本进行微调来将LLM与推荐域对准，并且还提出了对包含在用户偏好中的项目相关性进行编码的辅助任务数据样本。在电子商务领域，[83]研究了LLM和会话推荐系统相结合的有效性，并使用售前对话微调了大型语言模型，包括ChatGLM和Chinese-Alpaca-7 B。[72]提出了一种新的数据修剪方法，以有效地识别有影响力的样本LLM为基础的推荐微调，这解锁了显着的潜力，应用LLM为基础的推荐模型，以现实世界的平台。[20]对LLM进行监督式微调（SFT）以激活其在任务相关域中的能力。这涉及到用匹配的用户-项目对的描述训练LLM，允许LLM学习对齐用户和项目的描述。[5]通过微调LLM以生成项目的有意义的标记，并随后识别与所生成的标记相对应的适当的实际项目，从而提高推荐系统的性能。[61]基于概念推荐任务，采用交叉熵损失对模型结构和知识感知表示学习框架进行端到端的微调.[161]通过有监督的微调来利用LLM的开放世界知识，以检测推荐系统中的欺诈者，从而增强了抵御中毒攻击的鲁棒性。[131]还通过在新构建的数据集上训练LLM来微调LLM，该数据集专门用于可扩展性识别。这个过程涉及调整模型的参数，以更好地理解和预测在给定的会话上下文中是否需要推荐。[60]在基于位置的社交网络数据集上微调LLM，以利用常识知识进行下一个兴趣点推荐任务。[26]专注于使用大量综合生成的数据在自己的系统中调优LLM。[146]的重点是可解释的推荐任务，并提出了一种新的基于LLM的ER模型表示为LLM 2 ER作为骨干，并设计了两个创新的可解释的质量奖励模型微调这样的骨干在强化学习范式。[10]演示了LLM如何应用于多样性重新排序。这项工作采用并比较了两个最先进的LLM系列，即ChatGPT和Llama 2-Chat [115]，它们已经从各自的基础模型GPT和LLaMA中进行了微调，通过SFT和RLHF进行指导。[158]利用笔记压缩提示进行笔记推荐，将笔记压缩为单个特殊标记，并通过对比学习方法进一步学习潜在相关笔记的嵌入。[174]为基于LLM的推荐器构造包括用户偏好摘要、最近用户交互和候选项信息的提示文本。该系统随后使用监督微调技术进行微调，以产生最终的推荐模型。[116]LLM 4DSR是一种使用大型语言模型对顺序推荐进行去噪的专门方法。它引入了一个自我监督的微调任务，旨在提高LLM的能力，以检测序列中的噪声项，并建议适当的替代品。[74]提出了MixRec来增强基于LLM的顺序推荐。MixRec建立在粗粒度自适应的基础上，通过上下文屏蔽、协作知识注入和动态专家混合（DAMoE）等技术进一步完善，使其能够有效地管理顺序推荐任务。[7]设计并探索了三种正交方法和两种混合方法，用于在顺序推荐中利用LLM。具体来说，它深入研究了每种方法的技术方面，评估了潜在的替代方案，彻底地对它们进行了微调，并评估了它们的总体影响。

Instruction Tuning.[71]提出了由数字ID、项目标题和项目属性组成的多方面标识符。基于这些标识符，它在语言空间中构造指令数据，以供LLM进行微调，从而有效地组合来自不同方面的排名分数。[153]基于推荐任务和异构知识构建个性化推荐的指令集，包括个性化推荐的输入、指令和输出，通过集成异构知识和推荐任务对个性化推荐的LLM进行指令调优。[139]构建了一个指令数据集，以弥合在线职位推荐中预先训练的知识与实际招聘领域之间的差距。[49]首先以自然语言表示用户-项目交互数据，并采用指令调整来微调LLM，从而增强基于LLM的推荐系统的项目方公平性。[87]通过利用指令调优的LLM来减轻数据稀疏性和长尾问题，[86]采用自适应用户采样来选择高质量得用户，从而简化了指令调优数据集得构造.然后，该数据集被用于训练针对top-k推荐中的不同排序任务的指令调优的LLM。[62]设计了一种LLM的指令调优过程，以激发LLM的指令跟随能力，从而提高其顺序推荐能力。在[68]中，顺序推荐数据被转换成用于推荐语料库上的LLM的指令调整格式。[89]该框架将项目推荐与解释生成分离。本研究利用指令调优来提高LLM生成解释的精度和控制。[155]针对顺序推荐问题，提出了一种新的基于LLM的两阶段推荐框架LlamaRec，并证明了该框架是一种兼顾检索和排序的完整解决方案.[52]Exp 3rt是一个基于大语言模型的推荐系统，专门设计用于利用用户和项目评论中的广泛偏好信息。Exp 3rt可以有效地利用这些详细的反馈来提高推荐的质量和个性化。

Low-Rank Adaptation (LoRA).[79]研究了LoRA对基于内容推荐的开源LLM性能的有效性。[30]引入行为聚合分层编码（BAHE）以提高基于LLM的点击率（CTR）建模的效率。在LoRA的基础上，[6]有效地结合了补充信息，同时通过优化秩分解矩阵保持原始参数不变。[174]将LoRA技术应用于参数高效微调（PEFT），解决了文本丰富的顺序推荐问题。类似地，[62]在他们提出的gate_proj，down_proj和up_proj模块上引入了一个额外的LoRA适配器，以模拟给定推荐任务的个性化。[144]采用LoRA策略为每个域训练一小部分参数，这些参数可以作为插件无缝添加到目标域，而无需进一步重新训练。[78]利用LoRA微调药物推荐任务，更新低秩矩阵集，同时保持LLM的预训练权重冻结。[68]提出了一种课程提示调整策略来训练LoRA，该策略可以通过封装在顺序排序器中的行为知识来增强LLM。为了在保持高推荐性能的同时实现有效的非学习，[42]采用LoRA以插件的方式将成对的秩分解权重矩阵添加到LLM的现有权重中，只训练新添加的权重用于学习任务。[119]提出了E2 URec，第一个基于LLM的推荐系统的高效和有效的学习方法。E2 URec通过仅更新有限的一组额外LoRA参数来提高遗忘效率，并通过教师-学生框架来提高遗忘效率。[169]结合了动态平衡策略，其中包括为每个客户端设计动态参数聚合和学习速度。[85]介绍了一种新的对齐方法LLM推荐系统，显着提高他们的能力，遵循用户的指示，同时尽量减少格式错误。[178]RecLoRA提出了一种模型，该模型包括一个个性化的LoRA模块，用于为不同的用户维护独立的LoRA，以及一个长短模态检索器，用于检索不同模态的不同历史长度。[152]提出了多模态大语言模型增强的多模态顺序推荐（MLLM-MSR）模型，旨在利用大语言模型来改进多模态顺序推荐。[64]GANPrompt是一个基于生成对抗网络（Generative Adversarial Networks，GANs）的多维大语言模型提示多样性框架。该框架通过将GAN生成技术与LLM的深层语义理解能力相结合，增强了模型对不同提示的适应性和稳定性。[110]DELRec是一种新的框架，旨在从顺序推荐模型中提取知识，并使大型语言模型能够轻松理解和利用这些补充信息，以实现更有效的顺序推荐。它使用AdaLoRA来微调LLM。[166]采用了两步调整过程：首先，微调LLM在LoRA的方式使用语言信息专门学习的推荐任务，然后专门调整映射模块，使映射的协同信息可理解和可用于LLM的推荐时，考虑的信息拟合推荐数据。

4.1.2 LLM Reusing.

在本节中，我们将探讨LLM重用的三种主要方法：直接利用、即时调整和上下文学习。这些方法涉及对模型参数的最小改变或不改变，而是集中于利用LLM的预训练能力来增强推荐系统。

Direct Utilizing. [150]提出了一种利用领域知识来增强LLM在实际应用中的性能的通用范例，即DOKE。该范式依赖于领域知识提取器，其涉及为任务准备有效知识、为每个特定样本选择知识以及以LLMs可理解的方式表达知识。[129]在检索器-重排序器框架中引入了带发散思维的动态反射（DRDT），该方法利用LLMs将协作信号和用户偏好的时间演化有效地集成到顺序推荐任务中。[121]提出了一种零次下一项目推荐（NIR）的提示策略，指导LLM进行下一项目的推荐。具体地，基于NIR的策略涉及使用外部模块来基于用户过滤或项目过滤生成候选项目。[35]提出了一种利用生成式AI领域的最新进展的用于多模态非固定内容的零镜头推荐的方法。[104]针对基于语言的项目推荐任务，提出了多种LLM提示方法。[94]提出了一种用于叙事驱动推荐（NDR）任务的数据扩充方法Mint.Mint通过使用175 B参数大语言模型来创作长形式的叙述性查询，同时以用户喜欢的条目的文本为条件，重新利用了NDR的历史用户-条目交互数据集。[109]研究了ChatGPT作为top-n会话推荐系统的有效性。围绕ChatGPT构建了一个全面的管道，以模拟在探索推荐模型时的真实用户交互。[156]GPTFedRec是一个利用ChatGPT和一种新的混合检索增强生成（Retrieval Augmented Generation，RAG）机制的联邦推荐框架.[132]引入了一种新颖的学习范例，它超越了在上下文中学习和对LLM进行微调的范畴，有效地将一般的LLM与特定的推荐任务联系起来。[128]推出RecMind，这是一款基于LLM的代理，旨在提供一般建议。RecMind的运行无需微调即可适应不同的领域、数据集或任务。RecMind采用了一种新颖的自我激励（SI）计划技术。[38]提出了一个ReindexThen-Adapt（RTA）框架，该框架将多令牌项目标题转换为LLM内的单个令牌，并随后调整这些单个令牌项目标题的概率分布。[15]提出了三种利用历史交互中的时态信息进行基于LLM的顺序推荐的提示策略。本研究采用显式结构分析输入序列作为额外的提示，特别是时间聚类分析。[163]介绍了一个基于LLM的端到端推荐框架，称为UniLLMRec。UniLLMRec通过推荐链方法集成了多阶段任务，如召回，排名和重新排名。[23]专注于利用大型语言模型的能力来实现下一个POI推荐任务。该方法考虑了用户的长期和当前的偏好，地理空间距离，以及用户移动行为的顺序转换。[39]将推荐问题形式化为条件排序任务，使用顺序交互历史作为条件，并将其他模型检索的项目作为候选项。[50]介绍了InteraRec，一个创新的基于屏幕截图的用户推荐系统。InteraRec在用户浏览网页时实时、高频率地捕捉网页截图。利用MLLM的功能，它分析这些屏幕截图，以获得对用户行为的有意义的见解，并使用相关的优化工具提供个性化的建议。[106]建议利用大型语言模型的特殊规划能力来处理长期建议的稀疏数据。这项工作介绍了一个双层学习LLM规划框架，它采用了一组LLM实例。[101]提出了一个称为逻辑支架的框架，该框架结合了基于方面的解释和思维链提示的概念，通过中间推理步骤生成解释。[70]进行语义用户行为检索（SUBR），以提高测试样本的数据质量为零杆推荐，显着降低了LLM从用户行为序列中提取必要知识的难度。[125]提出了一个紧凑的RDRec模型来学习LLM生成的交互的基本原理。通过从所有相关的评审中了解理由，RDRec通过设计建议提示模板有效地指定了用户和项目配置文件。[16]促进了细致入微的基于LLM的用户分析，同时仍然考虑到连续的用户行为。通过生成和细化引导超图学习过程的提示。[44]提出了一种基于内容方面的LLM交互模拟器来模拟用户的行为模式。这个基于模拟器的推荐系统可以为每个冷项目模拟生动的交互，并直接将它们从冷项目转换为热项目。[134]使LLM能够通过使用从数据集的交互和辅助信息派生的提示生成最初不属于数据集的用户和项属性。[103]将大型语言模型与知识图（KG）合并。通过将一般的新闻编码器，LLM的强大的上下文理解，使新闻表示丰富的语义信息的生成。[122]介绍LLM 4Vis，这是一种基于ChatGPT的创新提示方法，仅使用几个演示示例即可提供可视化建议并生成类似于人类的解释。[127]介绍LLMRG，它采用LLM来构建个性化的推理图。这种方法说明了LLM如何在不需要额外信息的情况下增强推荐系统的逻辑推理和可解释性。[111]介绍了一个简单而强大的范例，PO 4 ISR，它利用LLM的功能，通过即时优化来增强ISR。[76]提出了一种基于链的提示方法，利用大型语言模型的深层语义理解来揭示语义方面感知的交互。这种方法在细粒度的语义级别上提供了对用户行为的更详细的见解。[135]提出了TF-DCon框架，并从大型语言模型的特殊文本理解和生成能力中汲取灵感，利用它们来增强压缩过程中的文本内容生成。[136]介绍了CoRAL，一种旨在增强传统的协作过滤系统中的长尾建议的方法。它有效地解决了数据稀疏和不平衡带来的挑战，这往往限制了协同过滤方法的性能。[148]提出了一种新的框架，CSRec，它开发了一个基于LLM的常识知识图，并将其纳入到推荐系统使用的互信息最大化（MIM）为基础的知识融合技术。[172]介绍了一种新的任务，LLM增强的动态推荐使用连续时间动态图，并提出了DynLLM模型，有效地集成LLM增强的数据与时间图信息。[164]介绍了一种新的框架，FineRec，旨在探索细粒度的顺序推荐挖掘属性意见的评论。[98]提出了一个可扩展的两阶段LLM增强框架（LLM 4SBR）专门设计的基于会话的推荐（SBR）。探讨了将LLM与SBR模型相结合的可行性，重点是有效性和效率。在短序列数据的背景下，LLM可以直接通过其语言理解能力来推断偏好，即使没有微调。[170]LLM-KERec采用大型语言模型来判断两个实体之间是否存在互补关系，并构造互补图。[147]提出了一种新的基于潜在关系发现的关系感知顺序推荐框架。与以往依赖于预定义规则的关系感知模型不同，它提出利用大型语言模型来提供项目之间的新型关系和连接。[145]提出了一种新的方法，自动生成信息类别描述使用一个大的语言模型，而不需要手动的努力或特定领域的知识，并将它们集成到推荐模型作为补充信息。[66]介绍了PAP-REC，一个框架，旨在为推荐语言模型生成个性化的自动提示，解决手动制作提示的效率低下和无效性。[120]建议利用LLM作为数据增强器，以解决培训过程中与冷启动项目相关的知识差距。利用LLM，根据用户历史行为的文本描述和新项目的描述来推断用户对冷启动项目的偏好。[113]调查的潜力ofLLM，以提高理解和利用自然语言数据的建议上下文中。[149]提出了DaRec，一种新的即插即用的解开对齐框架，用于将推荐模型与大型语言模型集成。[91]介绍了X-REFLECT，一种新的交叉反射算法框架。该方法促使大型多模态模型（LVMs）同时处理文本和视觉信息，明确识别和协调这些模态之间的任何支持或冲突元素。[130]提出了LLM 4 MSR，一种高效且可解释的LLM增强范式。该方法通过定制的提示信息，无需微调，利用LLM提取场景相关性和跨场景用户兴趣等多层次知识。[92]旨在衡量使用由LLM生成的项目方面（用户购买意图的理由）来改进排名任务结果的有效性。为了实现这一点，在电子商务环境中，提示被精心设计为从项目的文本数据中推导出项目的方面。[141]引入了因式分解提示以引出关于用户偏好的准确推理。通过混合专家适配器将推理和事实知识有效地转化和压缩为增广向量，以适应推荐任务的需要.[90]引入了LLM-Rec，这是一种结合了四种不同提示策略的新颖方法：基本提示、推荐驱动提示、参与引导提示以及推荐驱动和参与引导提示的组合。

Prompt Tuning. [105]针对个性化多模态生成问题，提出了PMG。它将多模态标记作为可学习参数纳入嵌入表中，然后利用线性层将LLM的嵌入空间与生成器的嵌入空间对齐。[176]测试Llama 2- 7 B，Llama 2- 13 B和Sakura-SOLAR 10.7B1在指令（聊天）模式下，使用零射击提示调谐。使用验证数据集执行硬提示调优，以提高模型的准确性、运行时间和可靠性。[59]提出了一个端到端的框架，结合学习基于LLM的个性化方面提取通过及时调整与基于方面的建议，从而产生更有效的建议。[75]提出了一种基于LLM的新闻推荐快速调优框架，并将快速优化器与迭代自举方法相结合，改进了基于LLM的推荐策略。

In-Context Learning (ICL). [29]介绍了一种新的范例，称为聊天记录，创新性地增强了LLM开发会话推荐系统，通过转换用户配置文件和历史交互到提示。Chat-Rec已被证明可以有效地学习用户偏好，并通过上下文学习在用户和产品之间建立联系，从而使推荐过程更具交互性和可解释性。[27]介绍了数据级推荐解释（DRE），这是一个非侵入式框架，旨在为黑盒推荐模型提供解释。这项工作提出了利用LLM的上下文学习和推理能力，使解释模块与推荐模块保持一致。它采用上下文学习方法，并指示LLM生成与推荐系统一致并对应于用户注意力偏好的逻辑一致的推荐解释。[51]提出了一种混合任务分配框架，利用LLM和传统的推荐系统的能力。通过采用两阶段的方法来提高子群体的鲁棒性，该框架促进了任务的战略分配，以有效和负责任地适应LLM。[17]旨在通过将ChatGPT与传统的信息检索（IR）排名方法（如逐点、逐对和逐列表排名）相结合来增强ChatGPT的推荐功能。本研究采用情境学习和指导学习相结合的方法，将不同的能力表现为不同的任务，并结合特定领域的提示。[11]解决了新社区冷启动（NCCS）的问题，提出了一种新的推荐方法，利用广泛的知识和强大的推理能力的大型语言模型。它选择在上下文学习（ICL）的提示策略，并设计了一个由粗到细的框架，有效地选择示范的例子，创造有效的ICL提示。[168]LANE是一种有效的策略，可以将大型语言模型与在线推荐系统相结合，而无需对LLM进行额外的调整。这一做法降低了成本，同时增强了建议的可解释性。这项工作利用了大型语言模型的特殊上下文学习能力，并精心设计了一个零杆提示模板，以提取用户的多种偏好。

Table 3. The representative LLM-based works for generative recommendations.

Model/Paper	Task/Domain	Data Modality	Main Techniques	Source Code
Wang et al. [117]	sequential recommendation	multiple key-value data	pre-train, instruction tuning	-
He et al. [37]	zero-shot conversational recommendation	text (conversational recommendation dataset)	prompt	https://github.com/AaronHeee/LLMs-as-Zero-Shot-Conversational-RecSys
Li et al. [67]	book recommendation	interaction, text	prompt	https://github.com/zhiyulee-RUC/bookgpt
Hua et al. [43]	sequential recommendation	interaction, text	item ID indexing	https://github.com/Wenyueh/LLM-RecSys-ID
Abu-Rasheed et al. [1]	learning recommendation	graph data, text	-	-
Li et al. [54]	next-item prediction	interaction, item title	prompt, pre-train, fine-tune	-
Wang et al. [126]	item recommendation	interaction	prompt, pre-train, fine-tune	https://github.com/anord-wang/LLM4REC.git
Zhang et al. [165]	sequential recommendation	sequences of words	prompt, pre-train, fine-tune	-
Ngo and Nguyen [95]	rating prediction, sequential recommendation	text	pre-train, fine-tune	https://github.com/VinAIResearch/RecGPT
Ji et al. [47]	movie recommendation	interaction, textual-information	prompt, pre-train, fine-tune	https://github.com/rutgerswiselab/GenRec
Tan et al. [112]	sequential recommendation, zero-shot recommendation	interaction, text	natural language generation	https://github.com/agiresearch/IDGenRec
Zhu et al. [179]	item recommendation	interaction, text	prompt, pre-train, fine-tune	https://github.com/yaochenzhu/llm4rec
Shen et al. [105]	personalized multimodal generation	text, image, audio, etc	prompt, pre-train, Prompt Tuning (P-Tuning V2 Liu et al. [82])	https://github.com/mindspore-lab/models/tree/master/research/huawei-noah/PMG
Li et al. [65]	sequential recommendation	interaction, text	pre-train, fine-tune, contrastive learning	-
Liu et al. [80]	content-based recommendation (news recommendation, book recommendation)	interaction, text	prompt	https://github.com/Jyonn/ONCE

4.2 Generative LLM-based Approaches

生成式方法涉及使用LLM根据输入数据生成新的内容或推荐。这种方法在需要新颖的用户交互或项目时特别有用。形式上，设 X = { x 1 , x 2 , … , x n } X=\{x_1, x_2, \ldots, x_n\} X={x1​,x2​,…,xn​}表示输入数据，而 Y = { y 1 , y 2 , … , y m } Y=\{y_1, y_2, \ldots, y_m\} Y={y1​,y2​,…,ym​}表示生成的推荐。生成式方法的目标是学习一个由$\theta$参数化的映射函数$G_{\theta }(\cdot )$，使得：
Y = G θ ( X ) = { g θ ( x 1 ) , g θ ( x 2 ) , … , g θ ( x n ) } Y = G_\theta(X) = \{g_\theta(x_1), g_\theta(x_2), \ldots, g_\theta(x_n)\} Y=Gθ​(X)={gθ​(x1​),gθ​(x2​),…,gθ​(xn​)}
其中$G_{\theta }(\cdot )$利用了LLM内部的知识和结构来产生不仅是对输入数据的简单反映，而是新颖且上下文相关的推荐。

生成建模过程。给定一个输入序列$X$，生成式方法可以描述如下：
$$Y=G_{\theta }(X)=P(y_1,y_2,\dots ,y_m|x_1,x_2,\dots ,x_n)$$
这里，$P(y_1,y_2,\dots ,y_m|x_1,x_2,\dots ,x_n)$表示基于输入序列$X$条件下的生成推荐的概率分布。LLM根据这个学到的分布生成每个$y_i$。表3列出了关于基于生成式LLM推荐的一些代表性论文。

4.2.1 LLM Retraining.

在本节中，我们将研究LLM再培训下的三种关键方法：Naive Fine-Tuning，Instruction Tuning和LoRA。

Naive Fine-Tuning.
[54]GPT 4 Rec是一个新的通用生成框架。最初，它根据用户历史记录中的项目标题生成假设的“搜索查询”，然后通过搜索这些查询来检索项目以进行推荐。为了有效地捕捉用户的兴趣，在各个方面和层次的细节，提高相关性和多样性，该框架采用了多查询生成技术，使用波束搜索。它对所选的GPT-2模型进行微调，该模型具有1.17亿个参数，具有复杂的Transformer架构，并在庞大的语言语料库上进行了预训练。这个过程使我们能够有效地捕捉用户兴趣和项目内容信息。[126]提出了一种新的提示机制，将用户与项目之间的关系以及项目的背景信息转化为自然语言形式，并引入了一种新的融合方法，有效地利用了图中的连接信息（即图结构中的边信息）.它使用人群上下文提示预训练图形关注LLM（图形关注GPT-2 [99]模型），并使用个性化预测提示微调图形关注LLM。[165]针对序列式推荐，提出了一种基于ChatGPT训练范式的个性化用户行为序列建模框架RecGPT。通过引入用户ID模块对个性化自回归生成模型进行预训练，然后通过引入分段ID对预训练模型进行微调，生成个性化提示。[95]重点介绍了基于文本的推荐，并介绍了领域适应和完全训练的大型语言模型RecGPT-7 B，以及它的解释后续变体RecGPT-7 B-Instruct。它使用20.5B标记的相对较大的特定于教学的语料库来预训练RecGPT-7 B，而RecGPT-7 B-Instruct是通过在100 K+教学提示及其响应的数据集上进一步微调RecGPT-7 B而输出的模型。[112]提出了IDGenRec，并选择了最初为文章标签生成训练的T5 [100]模型，并根据推荐目标对其进行了微调。它专注于标准的顺序推荐任务和零机会推荐场景。[179]介绍CLLM 4 Rec，一个生成式推荐系统，它将ID范式与LLM范式紧密集成。它提出了一种创新的软+硬提示策略，以有效地在代表历史交互和用户/项目特征的异构令牌上预训练CLLM 4 Rec。此外，它还提出了一个面向解释的微调策略来预测保持项目。[65]介绍了CALRec，一种新颖的对比学习辅助两阶段训练框架，该框架利用PaLM-2大型语言模型作为骨干，为顺序推荐任务量身定制。该框架采用了精心制作的模板，灵感来自少数学习原则和独特的准循环BM 25检索策略。

Instruction Tuning
[117]旨在通过将推荐系统与LLM相结合，实现基于多键值数据的顺序推荐。特别是，它指示调整流行的开源LLM（LLaMA 7 B [114]），以便将RS的领域知识注入到预训练的LLM中。鉴于这项工作使用多个键值策略，LLM有效地从这些键中学习变得具有挑战性。因此，它设计了新的洗牌和掩码策略，作为数据增强的创新方法。

LoRA
[47]提出了一种基于文本信息的生成式推荐模型GenRec，该模型能够有效地提高生成式推荐的性能。它选择LLaMA语言模型作为主干。LLaMA模型在广泛的语言语料库上进行预训练，为有效捕获用户兴趣和项目内容信息提供了宝贵的资源。为了节省GPU内存，它采用LLaMA-LoRA架构进行微调和推理任务。

4.2.2 LLM Reusing.

In this section, we explore two primary methods for LLM Reusing: Direct Utilizing and Prompt Tuning.

Direct Utilizing
[43]探索各种ID创建和索引方法，检查三种基本索引方法：随机索引，标题索引和独立索引，同时强调其局限性。该研究强调了为基础推荐模型选择适当的索引方法的重要性，因为它会显着影响模型性能。此外，四个简单而有效的索引方法进行了研究：顺序索引，协作索引，语义索引和混合索引。[1]提出了一种方法，采用聊天机器人作为对话调解人和受控的，有限的解释生成的来源。这种方法旨在利用LLM的能力，同时降低其潜在风险。拟议的基于LLM的聊天机器人旨在帮助学生理解学习路径建议。它利用知识图（KG）作为人工策划的信息源，通过定义提示的上下文来调节LLM的输出。此外，还实现了一种群聊方法，可以根据请求或当情况超出聊天机器人的预定义能力时，将学生与人类导师联系起来。[37]探索了零镜头会话推荐系统的大语言模型的使用。介绍了一种简单的提示策略，用于定义LLM的任务描述、格式要求和会话上下文。这项工作，然后后处理的生成结果到排名的项目列表与处理器。[67]以ChatGPT为建模主体，首次将LLM技术集成到图书资源理解与推荐的标准场景中，并付诸实践。通过开发一个类似ChatGPT的图书推荐系统（BookGPT）框架，将ChatGPT应用于图书推荐建模中，实现图书评级推荐、用户评级推荐和图书摘要推荐三个关键任务。此外，它调查的LLM技术的图书推荐的背景下的可行性。论述了三个分项工程的施工思路和施工方法。通过实证研究，验证了两种不同的快速建模方法：零炮建模和少炮建模的可行性。[80]采用提示技术来丰富闭源LLM的令牌级别的训练数据。这项工作介绍了一种生成式推荐方法称为GENRE。通过开发不同的提示策略，它增强了可用的训练数据，并获得更多的信息文本和用户特征，从而在后续的推荐任务中获得更好的性能。

Prompt Tuning
[105]针对个性化多模态生成问题，提出了PMG。它将多模态标记作为可学习参数纳入嵌入表中，然后利用线性层将LLM的嵌入空间与生成器的嵌入空间对齐。此外，它使用P-Tuning V2 [82]专门针对生成任务微调LLM，从而增强其生成能力。在每个推理期间，多模态标记被附加到用户行为提示。然后，通过将这些增强的输入传递通过LLM（使用P-Tuning V2增强）和线性层来生成软偏好嵌入。

4.2.3生成式推荐的组件或策略。[123]的项目标记化问题的重点，并全面分析了一个理想的标识符的必要特征，提出了一种新的可学习的标记命名为LETTER自适应学习标识符，包括层次语义，协作信号，和代码分配的多样性。

5 INDUSTRIAL DEPLOYING

在大规模工业环境中部署基于LLM的推荐系统涉及几个关键方面。本节探讨了基于LLM的系统的主要重点领域，包括它们对大规模工业场景的方法，加速，冷启动，实现动态更新，以及满足各种业务定制需求。通过回顾这些重点领域，我们可以更好地了解在现实世界的工业应用中部署基于LLM的推荐系统的当前进展和实际考虑。表4列出了可以在工业中实施的代表性工程。

5.1 Large-Scale Industrial Scenarios

在大规模的工业应用中，部署基于LLM的推荐系统由于庞大的数据量和不断变化的用户和项目动态而带来了显着的复杂性。这些环境需要高效地处理广泛的特征空间，同时满足多样化且不断变化的业务需求。这些系统的规模放大了计算效率和维持高质量推荐之间的平衡的需要。传统的推荐管道由更小、更专业的模型组成，在成本和更新方面更容易管理。相比之下，LLM的资源需求-特别是在训练和推理方面-使其大规模部署更具挑战性。而不是完全取代传统的模式，LLM越来越多地被集成为组件，以提高整体性能。[170]提出了LLM-KERec方法结合了传统模型与LLM和互补图的高效协同信号处理能力。这种方法不仅降低了传统模型推荐结果的同质性，而且提高了整体点击率和转化率，使LLM在工业场景中的大规模应用成为可能。[173]指出，LLM的计算成本使他们难以有效地部署在大规模的工业环境中的在线推荐系统。因此，这项工作建议仅在训练阶段使用LLM来补充和增强我们的推荐主干的语义功能。为了解决大型模型对于在线推荐服务来说过于繁重的问题，[165]探索了如何将ChatGPT灵活有效地集成到RS中。它们摒弃了自然语言形式，采用ChatGPT的模型结构和训练范式进行项目序列预测。[48]指出，推理LLM或微调LLM的基础上，用户交互历史是不切实际的工业场景。为了解决处理大量用户交互历史带来的计算挑战，CEG模块采用预训练的LLM作为项目编码器而不是用户偏好编码器，从而减少计算开销。[41]介绍了SAID，这是一个利用LLM显式学习基于文本的项ID嵌入语义对齐的框架。这种方法减少了工业场景中所需的资源。[157]提出了一种新的推荐系统范例，生成式推荐，它重新定义的推荐问题作为一个连续的转换任务内的生成建模框架。使用GR，部署模型的复杂性增加了285倍，同时使用更少的推理计算。[30]认为，在实际应用中部署LLM的一个关键障碍是它们在处理长文本用户行为方面效率低下。因此，他们提出了行为聚合分层编码（BAHE），将用户行为的编码与行为之间的交互分离，提高了基于LLM的点击率（CTR）建模的效率。[98]介绍了一个可扩展的两阶段LLM增强框架（LLM 4SBR）定制的基于会话的建议（SBR）。它研究了将LLM与SBR模型相结合的潜力，优先考虑有效性和效率。在涉及短序列数据的场景中，LLM可以直接使用其语言理解能力来推断偏好，而无需进行微调。这项工作是第一次提出一个LLM增强框架SBR。

5.2 Acceleration

在基于LLM的推荐系统领域，加速技术对于优化性能和减少延迟至关重要。考虑到LLM需要大量的计算资源，提高其部署效率至关重要。[142]识别部署基于LLM的推荐系统时，知识生成的效率低下，并提出DARE。它是第一个将推测性解码集成到基于LLM的推荐中，从而推进LLM在推荐系统中的部署。本文发现了推荐系统中推测解码的两个关键特征，并实现了两个改进：一个是自定义检索池，提高检索效率;另一个是放松验证，增加可接受的草稿令牌的数量。它已被部署在大规模商业环境中的在线广告场景中，实现了3.45倍的加速，同时保持了相当的下游性能。

5.3 Cold Start

冷启动是推荐系统中最具挑战性的前沿问题之一.大型语言模型拥有丰富的世界知识，能够更好地理解产品描述中的语义信息，以及以文本形式描述的用户偏好信息。因此，结合LLM具有缓解冷启动问题的潜力。[31]提出了S&R Multi-Domain Foundation框架，该框架利用LLM来提取领域不变特征，并使用Aspect Gating Fusion来联合收割机ID特征、领域不变文本特征和特定于任务的异构稀疏特征，以获得查询和项目的表示。此外，来自多个搜索和推荐场景的样本与域自适应多任务模块联合训练，以创建多域基础模型。他们使用预训练和微调方法将S&R Multi-Domain Foundation模型应用于冷启动场景，实现了比其他最先进的迁移学习方法更好的性能。当前的推荐系统主要依赖于协同过滤技术。然而，这种方法忽略了嵌入在项目文本描述中的大量语义信息，导致在冷启动场景中的次优性能。[48]提出了一种LLM-Driven Knowledge Adaptive Recommendation（LEARN）框架，将LLM中封装的开放世界知识有效地集成到推荐系统中。该方法显著提高了冷启动产品的收益和AUC性能。这些改进归功于LEARN为具有稀疏购买历史的产品生成的健壮表示。[170]传统的深度点击率（CTR）预测模型通过深度神经网络利用特征交互技术，在推荐任务中得到了广泛的应用。然而，这些模型严重依赖于暴露样本和用户反馈，限制了RS在冷启动场景中的性能，并使其难以处理新项目的不断出现。他们率先在向每个用户推荐产品时，利用大型语言模型的推理能力作为媒介，增强场景偏好，实现了大型语言模型在行业场景中的大规模应用。

5.4 Dynamic Update

动态更新对于工业环境中基于LLM的推荐系统至关重要，因为它们通过不断适应新的用户行为，内容和趋势来确保推荐保持相关性和准确性。与可能很快过时的静态模型不同，动态更新的模型可以实时或接近实时地响应用户交互和偏好的变化，这在数据快速变化的环境中至关重要。这种持续的适应性通过提供及时和个性化的推荐来增强用户体验。在大容量、快节奏的工业应用中，动态更新允许模型从流数据中学习，捕获最新的用户交互和不断变化的偏好。这种能力不仅提高了推荐的相关性，还使企业能够快速适应用户行为的变化，保持竞争力并优化用户参与度。由于每分钟都有新的内容和产品不断涌入，时间信息对于理解用户偏好和用户-项目交互随时间的演变至关重要。大型语言模型在动态推荐系统中的集成仍然在很大程度上未被探索，主要是由于适应LLM来预测动态变化的数据的复杂性。第一次，[172]利用连续时间动态图框架将LLM与动态推荐集成。这种集成为动态建模用户首选项和用户项交互提供了一个新的视角。他们引入了一种新的基于连续时间动态图的LLM增强的动态推荐任务，并提出了DynLLM模型，该模型有效地将LLM增强的信息与时态图数据相结合。[157]提出了HSTU架构，专为高基数，非静态流媒体推荐数据。他们首先将排序和检索任务转换为序列化的预测任务，并提出逐点聚合注意力来改进原始的Transformer模型。它还包含针对加速推理和减少内存使用而优化的解决方案。该解决方案已部署在拥有数十亿用户的大型互联网平台上。[154]COSMO是一个可扩展的系统，旨在从大量的行为数据中提取以用户为中心的常识知识，并构建行业规模的知识图，从而增强各种在线服务。最后，COSMO已经部署在各种亚马逊搜索应用程序中。该部署以高效的功能存储和异步缓存存储为中心，确保客户查询和模型响应的简化处理和经济高效的管理。

5.5 Business Customization Requirements

在工业应用中，推荐系统需要定制以满足不同企业的独特需求，每个企业都有不同的用户群，内容类型和目标。一刀切的做法是不够的。例如，电子商务平台需要处理多样化产品、季节性趋势和动态定价的系统，而流媒体服务则优先考虑内容消费模式和观众参与度。适应这些特定环境、用户行为和领域知识的可定制模型对于优化性能和实现特定于业务的目标至关重要，例如提高参与度、转化率或保留率。基于LLM的推荐系统的最新进展展示了这种定制的巨大潜力。通过微调这些模型来理解特定的用户行为并集成特定领域和外部知识，企业可以创建更具适应性和上下文感知的系统。这种灵活性使推荐引擎能够提供更相关和更有效的建议，增强用户体验并更好地与业务目标保持一致。

[84]提出了一种文章推荐任务中的用户浏览流建模方法SINGLE，该方法包括两个部分：恒定浏览流建模和瞬时浏览流建模。首先，他们使用LLM从之前点击的文章中捕获持续的用户偏好。然后，他们通过利用用户的文章点击历史和候选文章之间的交互来建模用户的瞬时视图流。[96]提出了一种工业广告推荐系统，该系统解决了序列特征、数字特征、预训练嵌入特征和稀疏ID特征。此外，他们还提出了有效解决与特征表示相关的两个关键挑战的方法：在各种任务或场景中嵌入维度崩溃和兴趣纠缠。他们探索了几种训练技术，以促进模型优化，减少偏差，并加强探索。此外，他们还介绍了三种分析工具，可以对特征相关性、维度崩溃和兴趣纠缠进行全面调查。[158]提出了一个新的统一框架，NoteLLM，它利用LLM来解决笔记的I2 I推荐问题。他们使用笔记压缩提示将笔记压缩成唯一的单词，并通过对比学习方法进一步学习潜在相关笔记的嵌入。推荐系统需要将联合收割机语义信息与行为数据结合起来。目前的主流方法是使用用户和项目ID嵌入来增强推荐性能，但这些嵌入往往无法捕获项目本身的内容相关性，特别是在冷启动问题和基于相似性的推荐场景中。[3]讨论了内容元数据在电影推荐系统中的重要性，特别是类型标签在理解用户偏好和提供个性化推荐方面的作用。他们指出了与使用类型标签相关的挑战，例如类型定义不一致，类型标签的主观性，混合类型的存在，以及类型标签无法捕捉视频中类型的强度或程度。[88]介绍了一种推荐系统方法，称为TRAWL（外部知识增强推荐与LLM援助）。TRAWL利用大型语言模型从原始外部数据中提取与推荐相关的知识，并使用对比学习策略进行适配器训练，以增强基于行为的推荐系统。[153]强调了分析和挖掘用户异构行为在推荐系统中的重要性。他们提出了HKFR，它使用LLM从用户行为中提取和整合异构知识，以实现个性化推荐。通过在LLM上执行指令调优，并将异构知识与推荐任务相结合，它们显着提高了推荐性能。[154]提出了一个微调语言模型（COSMO-LM）的一组精心策划的电子商务注释数据，结构化的指令，以产生高质量的常识知识，符合人类的喜好。为了获得大规模和多样化的教学数据，开发了利用大量用户行为的自动化指令生成流水线。通过扩展产品领域、关系类型和微调任务，该方法实现了可扩展的知识提取。

6 CHALLENGES AND OPPORTUNITIES

将大型语言模型（LLM）集成到推荐系统中，可以彻底改变推荐的生成方式，利用大量数据和复杂的上下文理解为用户提供高度定制的推荐。然而，这一演变也伴随着其自身的一系列挑战，需要仔细考虑。在本节中，我们将讨论挑战及机遇。图6说明了各种挑战之间的关系及其对用户、行业、技术和社会的影响。

6.1 Calibration

在基于LLM的生成式推荐系统中，推荐是直接基于用户输入或上下文生成的，但用户偏好的强度可能会有很大差异。例如，一个用户可能具有偏好得分高的前10个列表（例如，0.9，0.89），而另一个可能具有低得多的分数（例如，0.6、0.2）。尽管两个用户都收到了他们喜欢的推荐，但偏好强度的不一致性带来了挑战，特别是在广告投放或参与预测等业务场景中，精确的偏好理解至关重要。解决这个问题需要集成一个校准机制，以根据用户偏好的相对强度来调整生成的建议。这可能涉及将偏好评分标准化或考虑用户之间的差异，不仅确保相关的推荐，还确保更准确地反映用户的真实兴趣。

6.2 Temporal Dynamics

时间动态使基于LLM的推荐系统能够适应不断变化的用户偏好和行为。由于兴趣随着趋势和事件而变化，因此需要高级时态建模。建议应该平衡最近的互动与历史数据，采用加权和衰减策略。季节变化也需要适应环境。时间感知嵌入、时间注意力机制和实时数据处理等策略增强了个性化，并提供及时、相关的建议，提高了用户满意度和参与度。

6.3 Scalability

基于LLM的推荐系统的可扩展性使得能够有效地处理不断增加的数据量和用户交互。水平可伸缩性通过额外的服务器和负载平衡（例如，Apache Spark，Kubernetes），而垂直可扩展性增强了服务器性能。架构可扩展性采用模块化设计和容器化（例如，Docker），实现灵活部署。数据可伸缩性利用NoSQL数据库和分布式文件系统（例如，Apache Hadoop）来管理大型数据集。策略包括组合扩展方法，采用模块化架构，并实施强大的数据管理解决方案，以及监控和自动扩展机制，确保一致的性能和可靠性。

6.4 Efficiency

基于LLM的推荐系统的效率涉及优化性能，同时管理计算资源和成本。计算效率侧重于通过优化模型架构和使用GPU或TPU等硬件加速器来减少延迟并提高响应能力。运营效率涉及通过工作负载分配和经济高效的基础设施（例如，云计算）。能源效率通过采用模型压缩和量化等技术来解决环境影响。提高效率的关键策略包括优化模型性能、利用硬件加速、实施高效的推理方法、有效管理资源以及采用节能实践。这些方法确保系统在满足用户需求的同时有效和可持续地运行。

6.5 Multimodal Recommendation Scenarios

基于LLM的多模态推荐系统通过集成不同的数据类型（如文本、图像、音频和视频）来增强个性化。通过利用LLM，这些系统实现了对用户偏好的全面理解，提高了推荐的相关性和准确性。例如，在电子商务中，通过LLM将产品描述、图像和客户评论结合起来，可以更深入地了解用户偏好。尽管在数据融合和计算复杂性方面存在挑战，但LLM支持有效的跨模态表示学习，通过在各个领域提供上下文感知的内容来增强推荐多样性和用户参与度。

6.6 User Privacy and Data Security

基于LLM的推荐系统需要大量的用户数据进行个性化，需要强大的安全措施。遵守数据保护法规涉及透明的做法、明确的用户同意以及用户对个人数据的控制。匿名化和加密等技术可在存储和传输过程中保护个人身份信息（PII）。像角色访问控制（RBAC）和多功能访问控制（MFA）这样的访问控制机制可以防止未经授权的访问，并通过定期审计来识别漏洞。法规遵从性、数据最小化和用户教育等策略共同作用，可增强数据安全性并促进用户信任。

6.7 Interactivity and Feedback Loop

交互性和反馈循环增强了基于LLM的推荐系统中的用户参与度。用户可以主动调整设置和自定义偏好，定制他们的体验。反馈循环捕获用户输入，以改进算法并使推荐适应不断变化的偏好，从而促进信任。关键策略包括可定制的设置、直观的界面、实时个性化、结构化反馈集成和参与激励。这些方法创建了响应式的、以用户为中心的系统，这些系统随着用户输入而发展，提高了满意度和信任度。

6.8 Ethics

基于LLM的推荐系统的道德规范确保了公平，透明和负责任的操作。通过可解释的AI（XAI）实现透明度，帮助用户理解推荐。遵守GDPR等标准可以保护隐私和数据安全。公平涉及审计偏见和使用不同的数据集来防止歧视。内容过滤和审核对于避免有害材料至关重要。持续监测可确保问责制，并适应新的道德挑战，包括该系统对心理健康的影响。定期更新和利益相关者的参与，包括用户和伦理学家的投入，有助于维持道德标准和建立信任，从而实现负责任的运营和积极的社会影响。

6.9 Fairness

基于LLM的推荐系统的公平性确保了用户群体之间的平等待遇，并解决了与种族，性别和年龄相关的偏见。法学硕士必须通过分析和减轻偏见提供公平的建议。系统应避免偏向流行内容，以防止有偏见的曝光。重新平衡数据集和应用公平性约束等技术至关重要。此外，考虑不同的用户反馈有助于减少偏见。策略包括使用公平性指标和进行定期审计，以适应不断变化的行为，培养积极的用户体验和支持道德实践。

7 CONCLUSION

本文提出了一个全面的审查，不仅描绘了该领域的最新进展，但也讨论了基于LLM的推荐系统所面临的挑战。具体来说，一种新的分类法，它提供了一个结构化的方法来理解LLM的集成在推荐系统和他们的部署在行业。这种分类法被组织成一个三层框架，封装了从理论研究到实际应用的进展。每一层都被设计为建立在前一层的基础上，表示和理解增强了计划和利用的能力，这反过来又促进了推荐系统的工业部署。与现有的调查不同，这项工作提供了一个原始的视角，通过构建一个受推荐社区见解启发的分类法，而不是仅仅坚持既定的LLM分类。我们总结了从各种会议和期刊中收集的关于基于LLM的推荐系统的文章，如图7所示。我们观察到一个有趣的趋势，尽管大多数基于LLM的推荐系统的论文强调生成推荐，但大多数研究仍然坚持传统的推荐过程，利用LLM作为技术组件。未来的研究应该深入研究LLM的上级文本理解和生成能力，以进一步挖掘真实生成式推荐的潜力。未来的工作将提高技术性能、道德标准和新方法，以提高基于LLM的推荐系统的有效性和安全性，使其更具适应性，对用户和社会更有益。

以上内容全部使用机器翻译，如果存在错误，请在评论区留言。欢迎一起学习交流！