哥大：降低噪声对LLM偏好对齐影响

📖标题：ComPO: Preference Alignment via Comparison Oracles
🌐来源：arXiv, 2505.05465

🌟摘要

🔸直接对齐方法越来越多地用于将大型语言模型 (LLM) 与人类偏好对齐。然而，这些方法存在冗长和似然位移的问题，这些问题可能是由噪声偏好对驱动的，这些偏好对会导致首选和不喜欢的反应相似的可能性。
🔸本文的贡献有两个方面。首先，我们提出了一种基于比较预言机的新偏好对齐方法，并为其基本方案提供收敛保证。其次，我们使用一些启发式方法改进了我们的方法，并进行了实验，以证明实际方案在使用噪声偏好对提高 LLM 的性能的灵活性和兼容性。使用基准（AlpacaEval 2、MT Bench和Arena Hard）对多个基础和指令调优模型（Mistral-7B、Llama-3-8B和Gemma-2-9B）进行评估。
🔸实验结果表明，我们的方法作为解决现有直接对齐方法局限性的替代方案的有效性。我们工作的一个亮点是，我们证明了所提出的设计具有不同似然裕度的偏好对的专门方法的重要性，这补充了Razin等人的最新发现。我们在 https://huggingface.co/ComparisonPO 上发布了我们的模型。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在直接偏好对齐方法中面临冗长性和似然位移。
🔸主要贡献：论文提出了一种基于比较oracle的方法，通过有效处理噪声偏好对来改善LLM的性能，并提供了收敛性保证。

📝重点思路

🔸识别冗长性和似然位移问题加剧的原因，特别是现有方法对噪声偏好对的处理不当。
🔸开发了一种专门的比较oracle方法，从噪声偏好对中提取有用信息。
🔸通过与DPO集成，分别处理干净和噪声偏好数据，以提高计算效率。
🔸在优化过程中，采用规范化梯度的限制和裁剪，以降低计算成本。
🔸进行广泛实验，验证所提方法在改善LLM性能方面的有效性，尤其是在使用干净和噪声偏好数据时。

🔎分析总结

🔸实验结果表明，所提方法在减少冗长性方面取得了显著进展，提高了生成响应的效率。
🔸通过有效利用噪声偏好对，论文展示了该方法在减轻可能性位移方面的成功，避免了偏好响应的绝对概率降低。
🔸论文的实验结果强调，尽管噪声偏好对的处理较为简单，但仍能显著提升模型的对齐性能。
🔸通过与现有的DPO和SimPO方法比较，论文证实了新方法在多个基准测试中的一致性和可靠性。

💡个人观点

论文的核心在于从噪声偏好对中提取有用信息，从而避免了对显式代理目标的依赖。

🧩附录