2024‘微软提出RecExplainer: 利用LLM搭建可解释性推荐系统

AI Agent开发

于 2024-11-09 08:45:00 发布

阅读量927

点赞数 29

本文链接：https://blog.csdn.net/m0_56255097/article/details/143634840

版权

一、Introduction

推荐系统通过理解用户的偏好和意图，为合适的用户推荐感兴趣的信息。模型的可解释性是构建可靠且值得信赖的推荐系统的关键。我们探讨了利用大语言模型（LLMs）作为推荐系统解释Agent模型的潜力，并提出了行为对齐、意图对齐和混合对齐三种方法。实验结果表明，大型语言模型（LLMs）可以有效解释推荐系统的行为。

二、Methodologies

Problem Formulation

在这里插入图片描述

Behavior Alignment

在本方法中，我们微调语言模型使其预测行为与推荐系统的预测行为一致。如图所示。

微调任务包括：

在这里插入图片描述

Intention Alignment

最近，跨模态训练方法展示了显著的成功，使LLMs能够理解多模态内容。例如，视觉-语言模型（VLM）将文本和图像视为两种不同的模态。通过使从文本和图像中获得的感知相匹配，生成的LLM能够有效地理解图像的内容。因此，通过利用LLM固有的推理能力，它能够为图像提供语言解释，例如回答问题，“解释为什么这张照片很有趣”。

基于这些见解，我们将生成的用户和内容embedding视为一种独特的模态。这种数据模态能够捕捉内容的特征和用户偏好的特性。因此，我们旨在使LLM的感知与来自用户和内容embedding的感知相匹配。我们称这种方法为“意图对齐”，其背后的假设是，如果LLM能够理解目标模型的神经元同时保留其多步推理能力，那么它有可能阐明目标模型的决策逻辑。如图所示。

在这里插入图片描述

Hybrid Alignment

意图对齐方法可能过于严格，因为它依赖于用户/物品嵌入。在训练模型时，信息损失是不可避免的，因此很难完全识别用户历史物品。为了解决这个问题，我们引入了“混合对齐”，结合了之前的方法。对于涉及用户历史或物品选项的任务，混合对齐包括行为和意图对齐，将用户历史/物品选项添加到查询提示中。因此，一个提示可能是：“[系统提示] 给定一个具有历史记录的用户：[用户嵌入]，物品标题，…，生成下一个可能的物品标题。”

三、Experiments

Datasets

我们将在三个公开数据集上评估模型：亚马逊平台发布的视频游戏和电影及电视数据集、Steam。

具体任务数据生成如下：对于下一个物品召回任务，我们将目标推荐系统的 top-1 预测作为真实值；对于排序任务，我们从整个物品集中为每个样本采样五个物品，并使用目标模型生成的排序作为真实值；对于兴趣分类任务，我们将和阈值分别设置为前20%和后50%，为每个用户采样一个正样本和一个负样本。

Performance w.r.t. Alignment

为了研究训练后的LLM的对齐效果，我们在四个推荐相关的任务上评估模型的性能，结果见表。

RecExplainer-H可以达到与强大的SASRec相当的性能，并在召回和分类任务中经常表现更好，表明对齐训练有效。未对齐的vicuna-7b表现不佳，强调对齐的必要性。gpt4-ICL表现优于vicuna-7B-ICL但远低于RecExplainer-H。RecExplainer-B表现最差，表明模仿目标模型的推荐行为不是最佳解决方案。RecExplainer-I和RecExplainer-H的性能优于RecExplainer-B，表明神经元和文本信号可以互补，共同增强LLM对目标模型的理解。综上，对齐训练显著增强了LLM对目标模型的预测能力，使其适合后续的推荐解释任务。