本文是LLM系列文章,针对《Self-Rewarding Language Models》的翻译。
摘要
我们假设,为了实现超人代理,未来的模型需要超人反馈,以便提供足够的训练信号。目前的方法通常根据人类的偏好来训练奖励模型,这可能会受到人类表现水平的限制,其次,这些单独的冻结奖励模型在LLM训练过程中无法学习改进。在这项工作中,我们研究了自我奖励语言模型,其中语言模型本身通过LLM-as-a-Juage提示在训练期间提供自己的奖励。我们证明,在迭代DPO训练中,不仅指令跟随能力得到了提高,而且为自己提供高质量奖励的能力也得到了提高。在我们的方法的三次迭代中对Llama 2 70B进行微调,得出的模型优于AlpacaEval 2.0排行榜上的许多现有系统,包括Claude 2、Gemini Pro和GPT-4 0613。虽然这只是一项初步研究,但这项工作为可以在两个轴上不断改进的模型打开了大门。
1 引言
2 自我奖励语言模型
3 实验
4 相关工作
5 结论
我们引入了自我奖励语言模型,这些模型能够通过对自己的生成进行判断和训练来进行自我调整。该方法以迭代的方式进行训练,在每次迭代中,模型都会创建自己的基于偏好的指令训练数据。这是通过LLM-as-a-Juage提示将奖励分配给自己的生成,并使用迭代DPO对偏好进行训练来实现的。我们表明,这种训练既提高了模型的指令跟随能力,也提高了其在迭代中的奖励建模能力。虽然这只是一项初步研究,但我们相信这是一条令人兴奋的研究途径&#x