NLP论文速读|ScPO:自我一致性的偏好优化（Self-Consistency Preference Optimization）

论文速读|Self-Consistency Preference Optimization

论文信息：

简介：

      这篇论文试图解决的问题是如何在没有人类标注数据的情况下，提高大型语言模型（LLMs）在复杂推理任务上的性能。现有的自我对齐技术往往因为难以分配正确的奖励而未能在这些任务上取得进展。此外，这些技术在处理需要复杂推理的问题时，由于模型难以评估自身响应的正确性，导致自我评估方法效果不佳。动机在于现有的训练方法依赖于人类数据，而这些数据的收集过程在成本、时间和专业知识方面都非常耗费资源。为了克服这些限制，研究者们开始探索通过自我训练的方式，从模型生成的数据中迭代训练模型。然而，这种方法在评估模型自身响应的正确性时遇到了困难，尤其是在面对复杂问题求解任务时。因此，本文提出了一种新的方法——自我一致性偏好优化（SCPO），旨在通过自我一致性的概念来改善模型的训练过程。