谷歌: 利用推荐知识对齐大语言模型

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2024年3月份热门报告合集

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

大规模推荐类深度学习系统的设计实践.pdf

荣耀推荐算法架构演进实践.pdf

推荐系统在腾讯游戏中的应用实践.pdf

小红书推荐系统中台应用实践

微信视频号实时推荐技术架构分享

推荐系统的变与不变

TLDR: 本文针对推荐任务和自然语言任务中存在的知识鸿沟等问题,受掩码物品建模和个性化排序方法的启发,提出了一种利用自然语言模拟上述两种操作的模型以生成辅助任务数据,然后基于此对大模型进行微调,实验表明其可以将推荐特定的知识注入到大模型中。

7f615461fe61d3f5a3809239d696ae68.png

论文:https://arxiv.org/abs/2404.00245

ChatGPT4国内可以直接访问的链接,无需注册,无需翻墙,支持编程等多个垂直模型,点开即用:https://ai.zntjxt.com(复制链接电脑浏览器或微信中点开即可,也可扫描下方二维码直达)

大语言模型最近被许多研究工作当做推荐系统的骨干网络。然而,在检索等标准任务中,它们的性能往往落后于传统方法。本文将其归因于大模型的专有知识和对推荐至关重要的领域知识之间存在不匹配的问题。虽然大模型擅长自然语言推理,但它们无法对推荐任务中固有的复杂用户项目交互进行建模。

针对以上问题,研究人员通过指令调优将某些推荐知识引入到大模型中。如下图所示,他们的训练数据样本,我们称之为推荐任务数据样本,主要通过提供如何做的说明(比如,“从以下候选中为用户选择一个项目”)来帮助大模型理解推荐任务。然而,在对目标推荐领域建模方面,它们利用了原始的用户和项目特征以进行个性化(例如,用户的ID或他们最近交互的项目的ID),这不足以使大模型完全理解目标领域。

ba54397a09ef877677eeec06030022f1.png

本文为了缩小两者之间的知识鸿沟,并为大模型提供推荐特定的知识来解决这一问题。受掩码物品建模(Masked Item Modeling)和贝叶斯个性化排序(BPR)等方法在传统推荐系统中取得成功的启发。本文通过自然语言模拟这些操作,以生成满足项目相关性和用户偏好的辅助任务数据样本。在这种辅助任务数据样本上对大模型进行微调,并整合更具信息量的推荐任务数据样本,这有助于将推荐特定的知识注入到大模型中。

f2faf7a7e854a8ce7feac332ffdc5b0e.png

在FLAN-T5- Base和FLAN-T5- xl等大模型上的检索、排序和评分预测任务上的广泛实验表明了该技术在亚马逊Toys&Games、Beauty和Sports&Outdoors等领域的有效性。值得注意的是,所提出方法在检索方面明显优于传统的和基于大模型的基线,这充分展示了其提高推荐质量的潜力。

93ab35411cbc4b98dbeb504aeccb01de.png 6ff0a4d7d8412f21ee0cc744fa9c754a.png 8720947b15b4ebf59940e2cce42ad9cb.png

「 更多干货,更多收获 」

 
 
 
 

cda2110c273d958862a24e89459c38c9.gif

【免费下载】2023年5月份全网热门报告合集无需翻墙,无需注册,ChatGPT4直接使用ChatGPT提词手册,学完工作效率提升百倍马斯克谈AI:中美差距12个月,出现AGI只要三五年万字干货:ChatGPT的工作原理2023年创业(有创业想法)必读手册ChatGPT等让你效率倍增的22个AI工具ChatGPT调研报告(仅供内部参考)ChatGPT的发展历程、原理、技术架构及未来方向《ChatGPT:真格基金分享.pdf》2023年AIGC发展趋势报告:人工智能的下一时代

会玩!女王红化身AI,同时交往1000个男朋友!

清华大学195页干货报告:AIGC发展研究报告.pdf

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值