RLPF：用于LLM用户摘要的预测反馈

《RLPF: Reinforcement Learning from Prediction Feedback for User Summarization with LLMs》

链接：https://arxiv.org/pdf/2409.04421

文章介绍了一种新的强化学习方法 RLPF（Reinforcement Learning from Prediction Feedback），用于优化大型语言模型（LLMs）生成的用户摘要，以提高下游任务的性能。

文章的贡献包括：

• 引入了为用户建模和个性化系统生成自然语言用户摘要的新任务。
• 提出了 RLPF，这是一种新颖且易于实现的训练用户摘要器的方法，无需参考摘要或手工制作提示，同时保护用户隐私。
• 证明了 RLPF 在训练任务和未见任务上均优于基线。
• 在内在评估中发现 RLPF 在事实性、抽象性和可读性方面有显著改进。

1. 引言

• 大型语言模型（LLMs）在个性化预测方面展现出巨大潜力，但用户历史数据的噪声和长度给有效利用带来挑战。
• 现有的预训练 LLMs 可能生成简洁但缺乏上下文的摘要，这限制了它们在个性化系统中的实用性。

2. RLPF 方法

• 强化学习框架

  • 状态：用户的历史交互数据。
  • 动作：基于用户上下文生成的摘要。
  • 策略模型：将用户上下文映射到用户摘要的模型。
  • 奖励：使用预训练的 LLM 根据用户摘要进行预测，并与实际结果比较以计算奖励。
• 奖励计算
  • 预测反馈奖励：基于 LLM 预测的未来活动与实际活动之间的匹配程度。
  • 长度奖励：鼓励生成较短的摘要，以提高效率和可读性。

• 摘要模型：训练模型从原始活动数据生成简洁的用户摘要。
• 基于预测的奖励模型：通过衡量生成摘要在下游预测任务中的有效性来计算奖励。
• 反馈循环：使用奖励更新摘要模型，并通过额外奖励鼓励更短的摘要长度。

3. 实验细节

• 在四个真实世界用户交互数据集上进行实验：MovieLens 2015 和 2003、Amazon Review 和 Google Local Review。
• 评估指标包括预测性、事实性、抽象性和可读性。

4. 结果

• RLPF 在下游任务性能和摘要质量方面均显著优于基线方法，最高可提升 22%。
• RLPF 在 16 个未见任务和/或数据集上提高了性能，展示了其泛化能力。
• RLPF 还实现了在减少上下文长度 74% 的同时提高性能。

5. 讨论

• RLPF 展示了在增强个性化方面的潜力，但使用用户数据引发了隐私和数据泄露的担忧。

6. 相关工作

• 文章讨论了文本摘要、用户建模和从 AI 反馈中学习的相关工作。

7. 结论

• RLPF 是一种有效的方法，可以从原始活动数据生成简洁且易于理解的用户摘要，通过直接优化摘要生成过程来提高下游预测性能。

欢迎关注微信公众号：nlp之路，关注后发送LLM，免费领取LLM电子书