ACL2024 | 大型语言推荐模型中协同信息的类文本编码

智能推荐系统

于 2024-06-29 20:30:24 发布

阅读量23

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NjkxMDMyNQ==&mid=2247525124&idx=1&sn=64d4aeccd1115375255bda4f4bab684b&chksm=fa99b01cdb75cfa750c4434dcc872e58d36b7039a8d3bbc1c4bfebb4c8936286cc98b1454f79&scene=126&sessionid=0

版权

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

推荐系统的变与不变

TLDR: 集成协同信息在大语言推荐系统模型中至关重要。现有方法或从大语言模型的潜在空间中学习或直接通过映射以得到嵌入。然而，其不能以类似文本的格式来表示信息，难以与大语言模型最佳地对齐。为此，本文引入了BinLLM方法，以通过类似文本编码的形式无缝地集成协同信息。

论文：arxiv.org/abs/2406.03210
代码：github.com/zyang1580/BinLLM

无论是在大语言模型的词元（token）嵌入空间中从头学习协同信息，还是从模型外部映射得到协同信息，得到的表示都与大语言模型原始的文本级编码表示存在很大差异，这将会影响对大语言模型的利用。

因此，关键在于将协同信息转换为文本等序列格式。这种文本序列不需要人类可以理解，能被大语言模型解释即可。为此，本文提出了BinLLM方法，其使用类似文本的编码策略将协同信息集成到大语言模型中。具体而言，将从外部模型获得的协同嵌入转换为二进制序列，以作为大语言模型直接可用的文本特征。

模型架构如下，紫线表示填充提示模板中的文本字段，以引入物品标题等文本信息，而红线表示填充提示模板中的ID字段，以引入协同信息。

此外，本文使用点十进制记数法来表示二进制序列以实现压缩效果，其类似于将二进制序列转换为IPv4地址。通过使用包含这种编码的协同信息的推荐指令数据来微调大语言模型，可以在不修改大语言模型的情况下利用文本语义和协同数据来进行推荐，提升推荐性能。

大量的实验证明，BinLLM以一种与大语言模型更好地结合的方式引入协同信息，从而提高了性能。

与基准方法相比，除了在UAUC指标上不如CoLLM-DIN外，BinLLM总体上实现了最佳性能。这可能因为CoLLM-DIN采用了更先进的协同过滤模型，而BinLLM仅依赖于矩阵分解。总之，这些结果证实了BinLLM利用协同信息和大语言模型能力可以实现更好的推荐性能。

在非冷启动场景下，所有大语言推荐模型中，不考虑协同信息的TALLRec方法性能比矩阵分解差，而CoLLM和BinLLM的性能都优于矩阵分解，其中BinLLM的性能最好。这些结果表明，协同信息对非冷启动性能至关重要。在冷启动场景下，所有大语言推荐模型的性能都优于矩阵分解，证实了其在冷启动场景下的优越性。此外，在大多数情况下，与CoLLM相比，BinLLM可以提高冷启动性能，这可能是由于二值化嵌入具有更好的泛化能力。

通过消融实验，也证明了在大语言推荐模型中同时考虑文本信息和协同信息的重要性。

此外，将二进制协同信息序列压缩前后的BinLLM模型性能大致相当，且压缩后的序列可以缓解大语言模型不擅长处理长序列的问题。

「更多干货，更多收获」

某视频APP推荐策略详细拆解（万字长文）

智能推荐系统

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ACL2024 | 大型语言推荐模型中协同信息的类文本编码

省时查报告-专业、及时、全面的行研报告库省时查方案-专业、及时、全面的营销策划方案库【免费下载】2024年3月份热门报告合集推荐技术在vivo互联网商业化业务中的实践.pdf推荐系统基本问题及系统优化路径.pdf大规模推荐类深度学习系统的设计实践.pdf荣耀推荐算法架构演进实践.pdf推荐系统在腾讯游戏中的应用实践.pdf小红书推荐系统中台应用实践微信视频号实时推荐技术架构分享推荐系统的变与不变T...
复制链接

扫一扫