【文献阅读六】PALR: Personalization Aware LLMs for Recommendation

文献来源：PALR: Personalization Aware LLMs for Recommendation
期刊会议：arXiv
本文只是对原文章做的一个初步阅读与理解，如有错误的地方，还请多多指点。想了解更多请原读原文。

一、摘要

作者提出了一个叫 PALR 的新框架，旨在整合用户历史行为(如点击、购买、评分等。)和 LLMs 生成用户偏好的 items，从而提高推荐能力。该方法与目前的方法不同的是，PALR 通过微调70亿级别的LLM，并将微调之后的 LLM 作为生成推荐 items 的排序模型。这种方法能够将用户行为数据纳入 LLM 的推理过程，更好地泛化到新用户和看不见的项目中。

二、PALR

2.1 框架

上图为 PALR 框架图，总共分为四个阶段。

1. Interaction History Sequence：是通过简单地将用户已经交互过的物品串接在一起而创建的。

2. Natural Language User Profile Generation: 通过 LLM 总结出用户的偏好。

   当用户与大量物品交互并表现出混合亲和力时，对模型来说，仅根据用户行为来提供准确的推荐可能非常困难。在这种情况下，如果对用户偏好进行总结，并提炼出偏好物品，对于推荐任务非常有帮助。

3. Candidates Retrieval : 该步骤是从数据集中提取用户可能会接受的候选列表物品，从而缩小推荐域，提高性能。

4. Item Recommendation ：通过结合1~3，创建一个 natural language prompt（自然语言提示），并将 prompt 喂给 LLM。训练过程中，模型利用自身的推理能力从候选池中选择与用户偏好最贴切的items。

Natural Language User Profile Generation 和 Item Recommendation 步骤需要专门的提示设计，以有效利用 LLMs 的推理能力。

2.2 微调

微调时作者创建了两种类型的指令任务，分别是 Recommend 和 Recommend_Retrieval 。

• Recommend (PALRv1) ：涉及用户在过去(最高限量为20项)中与之交互过的物品列表，模型的目标是生成用户可能与之交互的"未来"物品列表。
  
• Recommend_Retrieval (PALRv2) : 与 Recommend 任务相比，多了利用模型提取候选列表的步骤。候选列表中加入了一些负样本。
  

三、实验数据

更多详细数据请参见原文 PALR: Personalization Aware LLMs for Recommendation

四、总结

在推荐任务中使用 LLMs 的第一个优点是容易将来自不同来源的外部知识纳入到框架中。第二个优势是，LLMs 提供了更容易的途径来实现更复杂的推荐场景，包括可解释的推荐和会话推荐。