PERSONALIZED SOUPS: PERSONALIZED LARGE LANGUAGE MODEL ALIGNMENT VIA POST-HOC PARAMETER MERGING

本文是LLM系列文章，针对《PERSONALIZED SOUPS: PERSONALIZED LARGE LANGUAGE MODEL ALIGNMENT VIA POST-HOC PARAMETER MERGING》的翻译。

摘要

虽然从人类反馈中强化学习（RLHF）将大型语言模型（LLM）与一般的、聚合的人类偏好相结合，但它对于学习多样化的个人观点来说是次优的。在这项工作中，我们研究了来自个性化人类反馈的强化学习（RLPHF）问题，其中LLM通过将对齐建模为多目标强化学习（MORL）问题来与多个（有时是冲突的）偏好对齐。与强大的单目标基线相比，我们表明，我们可以通过将偏好分解为多个维度来实现个性化对齐。这些维度是基于用户声明为所需的个性化来定义的。在这项工作中，我们证明了它们可以以分布式方式有效地独立训练，并通过参数合并在事后有效地组合。

1 引言

2 相关工作

3 从个性化的人类反馈中强化学习

4 实验

5 结论

先前的工作表明，将LLM与RLHF相适应有助于它们产生人类偏好的输出，而不是监督的微调对应