AlignRec | 多模态推荐的对齐与训练

智能推荐系统

于 2024-04-11 20:20:41 发布

阅读量108

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NjkxMDMyNQ==&mid=2247524979&idx=1&sn=4f8bb9f7fb60a6c4ca5d75ef8c38f0cc&chksm=fa0b24b76ac8ba35f1be3db6c50afb4fde2dc9a073c374a2d3e3249acec6c845e10dd3eb0ed3&scene=126&sessionid=0

版权

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2024年3月份热门报告合集

大规模推荐类深度学习系统的设计实践.pdf

荣耀推荐算法架构演进实践.pdf

微信视频号实时推荐技术架构分享

推荐系统的变与不变

TLDR: 本文提出了一种新的多模态推荐系统框架来对齐和训练多种模态。具体的，将推荐目标分解为3种不同粒度的对齐，即内容内对齐、内容与分类ID之间的对齐与用户与项目之间的对齐。另外，针对每种对齐，设计了专门的损失函数来进行建模。

论文：https://arxiv.org/abs/2403.12384

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

随着多媒体应用的快速发展，多模态推荐系统发挥着越来越重要的作用，因为其可以利用用户交互之外的丰富上下文。现有方法主要将多模态信息作为辅助，利用它们来帮助学习ID特征;然而，多模态内容特征和ID特征之间存在语义鸿沟，直接利用多模态信息作为辅助特征会导致用户和项目的表示不对齐。

并且如何在多模态推荐场景中进行对齐目前还没有被专门研究。多模态推荐的输入不仅包含图像、文本等内容模态，还包含各种ID特征。它们都保持在各自的空间中，并且有着不同的分布。我们在上图中展示了Amazon Sports数据集中一些特征的可视化结果，发现图像和文本模态具有较大的不同分布，并且同一物品的内容和ID特征对也可以相距很远。因此，亟需设计一个统一的框架来对齐所有模态。

本文首先系统地研究了多模态推荐系统中的失调问题，并提出了一种对齐和训练框架AlignRec。

在AlignRec中，推荐目标被分解为3种对齐，即内容内对齐（D）、内容与分类ID之间的对齐（E）以及用户与项目之间的对齐（F）。每个对齐都具有特定的目标函数，并被集成到多模态推荐框架中。为有效训练AlignRec，建议从预训练第一个对齐开始，以获得统一的多模态特征，随后将以下两个对齐与这些特征一起作为输入进行训练。由于分析每个多模态特征是否有助于训练至关重要，设计了三类新的指标来评估中间性能。

在三个真实数据集上的广泛实验，验证了AlignRec与九个基线相比的优越性。并且AlignRec生成的多模态特征比目前使用的特征更好，这些特征后续将开源出来。

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：

https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

「更多干货，更多收获」

【免费下载】2024年3月份热门报告合集

ChatGPT的发展历程、原理、技术架构及未来方向

某视频APP推荐策略详细拆解（万字长文）

关注我们

智能推荐

个性化推荐技术与产品社区

长按并识别关注

一个「在看」，一段时光👇

智能推荐系统

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
AlignRec | 多模态推荐的对齐与训练

省时查报告-专业、及时、全面的行研报告库省时查方案-专业、及时、全面的营销策划方案库【免费下载】2024年3月份热门报告合集推荐技术在vivo互联网商业化业务中的实践.pdf推荐系统基本问题及系统优化路径.pdf大规模推荐类深度学习系统的设计实践.pdf荣耀推荐算法架构演进实践.pdf推荐系统在腾讯游戏中的应用实践.pdf小红书推荐系统中台应用实践微信视频号实时推荐技术架构分享推荐系统的变与不变T...
复制链接

扫一扫