Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation

本文是LLM系列文章，针对《Optimization Methods for Personalizing Large Language Models
through Retrieval Augmentation》的翻译。

摘要

本文研究了用于个性化大型语言模型（LLM）的检索增强方法，这些方法可能对各种应用和领域产生重大影响。我们首次尝试优化检索模型，将有限数量的个人文档传递给大型语言模型，以实现个性化生成。我们开发了两种优化算法，从下游的个性化生成任务中征求反馈以进行检索优化——一种基于强化学习，其奖励函数是使用任何任意的个性化生成度量来定义的，另一种基于从下游LLM到检索模型的知识蒸馏。本文还介绍了一种生成前和生成后的检索器选择模型，该模型决定了为每个LLM输入选择什么检索器。对语言模型个性化（LaMP）基准的不同任务进行的广泛实验表明，七个数据集中有六个数据集在统计上有显著改善。

1 引言

2 相关工作

3 符号和任务定义

4 学习检索以个性化LLMS

5 个性化LLMS的检索模型选择

6 实验