专题解读 | 大模型增强图推荐的两类主流方法

AI大模型-搬运工

于 2025-01-10 10:56:45 发布

阅读量640

点赞数 20

文章标签：人工智能语言模型自然语言模型大模型 LLM 大语言模型大模型微调

本文链接：https://blog.csdn.net/2401_84208172/article/details/145052528

版权

大模型增强图推荐的两类主流方法

一、简介

大型语言模型（LLMs）的快速发展展示了其在生成、推理和建模世界知识方面的卓越能力。推荐系统也预计将从LLMs的发展中获得显著的好处。最近的研究努力已经将LLMs应用于推荐系统，并在各种场景中取得了显著的性能提升。现有的利用LLMs增强图领域推荐的方法可以被分为两个类别：（1）以TALLRec为例的一些方法将大语言模型直接作为预测器；（2）以RLMRec为例的一些方法将大语言模型作为增强器使用。接下来我们借TALLRec和RLMRec为例详细介绍两类方法的特点。

二、大语言模型作为预测器：TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation (Recsys 2023)

截止这篇工作为止，已有很多工作尝试直接使用大语言模型作为预测器来处理推荐数据，但大多现有的LLMs在预训练阶段并未接触过推荐数据或任务，这导致已有工作不能完全发挥出LLM用于推荐的潜力。为弥补这一差距，TALLRec提出利用推荐专有数据对大模型进行高效微调，以增强大语言模型方法在推荐任务中的表现。

2.1.使用大语言模型作为预测器的推荐方法

鉴于用户的交互历史，LLMs通过上下文学习预测用户是否会喜欢一个新项目。这一应用利用LLMs强大的自然语言理解和生成能力，通过分析用户的历史偏好、行为模式和项目特征，推测用户对新内容的兴趣和喜好。在推荐系统中，LLMs能够基于丰富的语境信息，结合用户过往的互动记录，生成个性化的推荐。然而，代表性的LLMs未经过微调的话，如ChatGPT，要么拒绝回答，要么在电影和书籍推荐任务中总是给出积极的预测（喜欢）。如果我们忽略拒绝的答案并计算剩余样本的AUC，我们发现LLMs的表现与随机猜测相似（AUC=0.5）。

2.2.TALLRec提出的微调后LLM作为预测器的推荐方法

TALLRec框架，旨在促进LLMs与推荐任务的有效且高效对齐，特别是在低GPU内存消耗的设置下。具体来说，作者首先引入了两个轻量化实现的TALLRec调优阶段，然后是骨干网络的选择。如下图所示，TALLRec由两个调优阶段组成：alpaca调优和rec-tuning调优。前者是LLM的常见训练过程，旨在提升LLM的泛化能力，而后者则模拟了指令调优的模式，专门对LLMs进行推荐任务的调优。在rec-tuning调优阶段，作者使用从推荐数据构建的指令输入和输出的rec-tuning样本。值得注意的是，作者采用了轻量化调优技术（LoRA微调技术），以提高TALLRec框架的效率。这种技术能够在保持较低GPU内存消耗的同时，优化LLM在推荐任务中的表现，从而实现高效的推荐模型调优。

2.3 实验效果

TALLRec在Movie和Book两个推荐数据集相对于其他方法有更好的效果。

三、大语言模型作为增强器：Representation Learning with Large Language Models for Recommendation (WWW 2024)

大语言模型作为增强器的方法使用LLMs的推理能力来增强推荐数据本身，经过增强后的数据再送入传统的推荐模型完成最终的推荐任务。RLMRec本文旨在通过LLM赋能的表示学习来增强现有的推荐系统。该框架提出了一种将表示学习与LLMs集成的推荐范式，旨在捕捉用户行为和偏好的复杂语义特征。RLMRec整合了辅助文本信号，利用LLMs进行用户/项目的画像建模，并通过跨视角对齐将LLMs的语义空间与协同关系信号对齐。本文进一步通过互信息最大化理论基础，展示了文本信号整合的效果，从而提升了表示的质量。我们的评估将RLMRec与最先进的推荐模型进行集成，同时分析其在噪声数据下的效率和鲁棒性。

3.1.用户/内容画像范式

RLMRec的作者强调获取用户和项目的文本描述（即画像）的重要性。这些画像在减轻推荐系统学习到的表示中的噪声影响方面发挥着关键作用，并能够实现对用户和项目交互偏好的语义理解。理想情况下，用户和项目画像应具备以下特点：

用户画像：应有效地概括用户倾向于喜欢的特定类型的项目，从而全面地表现其个性化的口味和偏好。
项目画像：应清晰地表达该项目能够吸引的特定类型的用户，提供明确的项目特征和品质展示，这些特征与这些用户的偏好和兴趣相一致。近期大型语言模型（LLMs）的发展释放了其卓越的文本处理能力，使其能够解决广泛的自然语言处理任务，包括文本去噪和摘要。这一重要进展为从数据集中固有的噪声文本特征生成用户和项目画像开辟了新的可能性。利用LLMs的巨大潜力，作者提出了一种基于协同信息的画像生成范式。

3.2.密度比建模与互信息最大化

接下来，RLMRec的作者进一步提出了将LLMs的语义空间与协同关系信号对齐的两种方法，第一种方法是对比建模，这种方法已被广泛验证能够有效地双向对齐不同视角，如通过拉近（pull）和推远（push）对。第二种方法是掩码重建生成建模，这是一种广泛使用的自监督机制，用于从数据本身重建部分掩码的输入。通过利用协同过滤（CF）侧的表示来重建语义表示，我们可以有效地对齐这两种信息形式。

3.3.实验效果

RLMRec在三个数据集上相对于已有的未增强方法在所有实验设置下达到最优。

四、总结

本文从两种分类的角度介绍了目前大语言模型增强图推荐的主流方法，目前两种方法均展现出了可观的效果收益，证明了大语言模型应用于图推荐领域的潜力不可低估。

在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

在这里插入图片描述

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。