AlignRec | 多模态推荐的对齐与训练

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2024年3月份热门报告合集

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

大规模推荐类深度学习系统的设计实践.pdf

荣耀推荐算法架构演进实践.pdf

推荐系统在腾讯游戏中的应用实践.pdf

小红书推荐系统中台应用实践

微信视频号实时推荐技术架构分享

推荐系统的变与不变

TLDR: 本文提出了一种新的多模态推荐系统框架来对齐和训练多种模态。具体的,将推荐目标分解为3种不同粒度的对齐,即内容内对齐、内容与分类ID之间的对齐与用户与项目之间的对齐。另外,针对每种对齐,设计了专门的损失函数来进行建模。

acb87f1520675aebf7d89a0b0eb58c42.png

论文:https://arxiv.org/abs/2403.12384

ChatGPT4国内可以直接访问的链接,无需注册,无需翻墙,支持编程等多个垂直模型,点开即用:https://ai.zntjxt.com(复制链接电脑浏览器或微信中点开即可,也可扫描下方二维码直达)

随着多媒体应用的快速发展,多模态推荐系统发挥着越来越重要的作用,因为其可以利用用户交互之外的丰富上下文。现有方法主要将多模态信息作为辅助,利用它们来帮助学习ID特征;然而,多模态内容特征和ID特征之间存在语义鸿沟,直接利用多模态信息作为辅助特征会导致用户和项目的表示不对齐。

ccd32269fbe6a4ed9fe28217c6d88bc0.png

并且如何在多模态推荐场景中进行对齐目前还没有被专门研究。多模态推荐的输入不仅包含图像、文本等内容模态,还包含各种ID特征。它们都保持在各自的空间中,并且有着不同的分布。我们在上图中展示了Amazon Sports数据集中一些特征的可视化结果,发现图像和文本模态具有较大的不同分布,并且同一物品的内容和ID特征对也可以相距很远。因此,亟需设计一个统一的框架来对齐所有模态。

本文首先系统地研究了多模态推荐系统中的失调问题,并提出了一种对齐和训练框架AlignRec。

f41117c77faec5ffaa1a06144330eab5.png

在AlignRec中,推荐目标被分解为3种对齐,即内容内对齐(D)、内容与分类ID之间的对齐(E)以及用户与项目之间的对齐(F)。每个对齐都具有特定的目标函数,并被集成到多模态推荐框架中。为有效训练AlignRec,建议从预训练第一个对齐开始,以获得统一的多模态特征,随后将以下两个对齐与这些特征一起作为输入进行训练。由于分析每个多模态特征是否有助于训练至关重要,设计了三类新的指标来评估中间性能。

6819eff2b686ef7cddb7848ba4db6d08.png

在三个真实数据集上的广泛实验,验证了AlignRec与九个基线相比的优越性。并且AlignRec生成的多模态特征比目前使用的特征更好,这些特征后续将开源出来。

ChatGPT4国内可以直接访问的链接,无需注册,无需翻墙,支持编程等多个垂直模型,点开即用:

https://ai.zntjxt.com(复制链接电脑浏览器或微信中点开即可,也可扫描下方二维码直达)
 
 
 
 
 
 

「 更多干货,更多收获 」

a6a825fc0259ec2a884db6d2c54f9cb0.gif

 
 

【免费下载】2024年3月份热门报告合集

ChatGPT的发展历程、原理、技术架构及未来方向

《ChatGPT:真格基金分享.pdf》

2023年AIGC发展趋势报告:人工智能的下一时代

推荐系统在腾讯游戏中的应用实践.pdf

推荐技术在vivo互联网商业化业务中的实践.pdf

2023年,如何科学制定年度规划?

《底层逻辑》高清配图

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

荣耀推荐算法架构演进实践.pdf

大规模推荐类深度学习系统的设计实践.pdf

某视频APP推荐策略详细拆解(万字长文)

关注我们

智能推荐

个性化推荐技术与产品社区

长按并识别关注

5b8a5cd8a887425c6c469cadc97de2db.jpeg

一个「在看」,一段时光👇

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值