一文梳理推荐系统中如何应用大模型

本文分析了大语言模型在推荐系统中的应用,包括特征工程、特征编码、打分排序和流程控制等方面,介绍了如GENRE、U-BERT、RecLLM等多个代表性工作,并探讨了如何通过微调或结合传统CRM来利用大模型的语义信息。文章还讨论了面临的挑战和未来的发展趋势。
摘要由CSDN通过智能技术生成

大家好我是蘑菇先生。今天给大家分享下华为诺亚方舟实验室的talk:《推荐系统如何从大语言模型中取长补短:从应用视角出发》,个人感觉很有信息量,我们组内同学也做过交流分享,相关信息也可以从综述找到:"How Can Recommender Systems Benefit from Large Language Models: A Survey",在此分享给大家。

下面会围绕:背景和问题、何处运用大语言模型(7个代表性工作)、如何运用大语言模型(2个代表性工作)、挑战和展望四个部分展开介绍。由于篇幅原因,代表性工作只简要做个介绍,下回会对其中比较有意思的代表性工作做个详细分享。

1、背景和问题

传统的推荐模型(Conventional Recommendation Model,CRM)往往以Embedding+深度网络为backbone,通过拟合用户反馈信号提升推荐效果。CRM的主要特点是:

  • 模型相对较小,时间空间开销低;
  • 可以充分利用用户反馈信号࿱
无监督对比学习是一种用于训练深度神经网络的自监督学习方法,它在没有标签的大规模未标记数据上进行训练。该方法通过使模型学习将相似样本聚集在一起,将不相似样本分开来,从而学习到有用的特征表示。 以下是几种常见的无监督对比学习方法: 1. MoCo(Momentum Contrast):MoCo是一种基于对比学习的方法,它使用了动量更新策略来增强对比学习的性能。它通过构建一个动态的字典来扩展正样本的数量,并使用动量更新策略来提高特征的一致性。 2. SimCLR(Simple Contrastive Learning):SimCLR是一种简单而有效的对比学习方法,它通过最大化正样本间的相似性并最小化负样本间的相似性来进行训练。SimCLR使用了数据增强和大批量训练等技术来提高性能。 3. SwAV(Swapping Assignments between Views):SwAV是一种基于视图交换的对比学习方法,它通过交换不同视图下的样本分配来增强对比学习过程。SwAV还使用了聚类损失来进一步优化特征表示。 4. BYOL(Bootstrap Your Own Latent):BYOL是一种基于自举的对比学习方法,它通过预测一个网络的自我编码器输出来进行训练。BYOL使用了移动平均权重和在线网络更新等技术来提高性能。 5. SimSiam(Simplified Siamese):SimSiam是一种简化的孪生网络对比学习方法,它通过最大化网络预测的一致性来进行训练。相比于传统的对比学习方法,SimSiam省略了负样本的构造过程,简化了训练过程。 这些无监督对比学习方法在图像和自然语言处理等领域都取得了很好的效果,并且被广泛应用于预训练模型的训练。每种方法都有其独特的特点和优势,可以根据具体任务和数据集选择适合的方法进行使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值