快读论文-利用大模型做富文本推荐

一、论文背景

• 今天分享的快读文章标题是Harnessing Large Language Models for Text-Rich Sequential Recommendation
• 大型语言模型（LLMs）在推荐系统（RS）中的应用正在改变传统推荐系统的设计。
• 面对文本丰富的推荐场景（如电商产品描述、社交媒体新闻标题），LLMs 需要处理更长的文本以捕捉用户行为序列，这带来了一系列挑战，包括输入长度限制、计算资源消耗和性能优化问题。

二、提出方法

2.1 总体框架

• 使用一个summarizer来对用户历史进行“特征提取”，形成用户偏好总结。
• 因为summarizer的限制，使用用户历史分块方式分别进行提取。(本文提出了类似CNN、RNN结构两种方法）
• 基于上述用户历史行为，训练LLM-based Recommder
• 将用户偏好总结、用户历史、物品信息综合输入到LLM-based Recommender，进行推荐，输出标签为yes\ no

2.2 层次总结范式（hierarchical summarization paradigm.）

看图，比较一目了然：

2.3 循环总结范式（Recurrent LLM-based User Preference Summarization）

同理看图：

2.4 LLM-based Recommedation

• LLM-based Recommender的训练：利用生成的用户偏好摘要，构建一个包含用户偏好摘要、近期用户交互和候选项目信息的提示文本（prompt text）。将提示文本输入到LLM-based推荐模型中，并使用监督式微调（Supervised Fine-Tuning, SFT）技术对模型进行微调，使其能够输出“是”或“否”来表示用户对候选项目的兴趣。
• 参数高效微调（PEFT）：为了减少内存开销并加快训练过程，使用基于低秩适应（Low-Rank Adaptation, LoRA）的参数高效微调方法，Loss使用交叉熵。

三、实验指标

• 论文使用amazon、mind两个数据集进行实验，使用 Recall@K 和 Mean Reciprocal Rank (MRR)@K 作为评价指标，其中 K 可以是 3、5 和 10，可以看到本文的方法在实验数据集上的提升。
• Figure 9 表示太多历史行为反而导致模型效果的下降，可能跟大模型容量有关？Figure 10、11展示了不用模型参数在数据上的效果。

四、论文地址

• arXiv:2403.13325

五、疑问

既然可以使用cnn、rnn接口来提取用户历史，后续能否用模拟attention的方法来提取用户历史特征？