本文是LLM系列文章,针对《Binary Classifier Optimization for Large Language Model Alignment》的翻译。
摘要
通过偏好优化使大型语言模型(LLM)与人类偏好保持一致是至关重要的,但也是劳动密集型的,需要评估人员对每个提示进行选择和拒绝的文本完成情况的比较。最近,Kahneman Tversky Optimization(KTO)已经证明,LLM可以在每个提示完成对上仅使用二进制“竖起大拇指”或“向下大拇指”信号进行对齐。在本文中,我们提出了理论基础来解释通过这些二进制信号实现的成功对准。我们的分析揭示了一个新的视角:优化一个二元分类器,其logit是一个奖励,隐式地诱导最小化直接偏好优化(DPO)损失。在这一发现过程中,我们确定了两种有效对齐的技术:奖励转移和底层分布匹配。因此,我们提出了一种新的算法,二进制分类器优化,它集成了这些技术。我们在两种情况下验证了我们的方法:第一,在配对偏好数据集上,我们的方法与DPO和KTO的性能相当;第二,在模拟真实世界条件的二进制信号数据集上,竖起大拇指和竖起大拇指的数据之间存在不同的潜在分布。我们的模型始终如一地证明了两个基本LLM和三个不同的二进制信号数据集之间的有效和稳健的对齐,展示了我们从二进制反馈中学习的方法的优势。