Meta：通过自学习迭代LLM的奖励模型

📖标题：Self-Taught Evaluators
🌐来源：arXiv, 2408.02666

🛎️文章简介

🔸研究问题：基于模型的评估思路，可以用于奖励模型或替代人类评估，但训练依赖大量的偏好数据成本高昂。
🔸主要贡献：论文提出了一种新的迭代训练方法，仅使用合成训练数据来改进评估器，无需人工注释。

📝重点思路

🔺相关工作

🔸基于LLM的评估器：传统的评估基准采用自动化指标，不适用于开放性和复杂指令场景，通过LLM评估可以输出分数或者反馈，也可以对单个响应或者成对响应评测。
🔸合成数据：在难以访问现实世界数据的情况下，能够有效获取训练示例，并且可以根据特定要求定制。

🔺论文方案

🔸初始化：假设可以访问大量人工编写的用户指令，如从生产环境拉取。
🔸指令选择：通过LLM对初始化指令分类，选择有利于平衡分布且具有挑战性的指令。
🔸偏好构建：对于原始指令x，先提示LLM生成一个“嘈杂”版本x’，然后让LLM对x输出高质量响应yw、对x’输出低质量响应yl，得到一组偏好
🔸生成判断：让评估器M对(x,yw,yl)进行判断，选择判断正确的反馈j，进一步得到(x,yw,yl,j)
🔸迭代训练：使用之前步骤得到的数据训练M，迭代整个过程以实现自我改进。

🔎分析总结

🔸在RewardBench上，自学习评估器在合成数据上迭代训练后，性能从75.4提升到88.7，与使用人工标注数据训练的奖励模型性能相当或更优。
🔸在MT-Bench上，自学习评估器同样优于种子模型，并与GPT4性能相当。
🔸通过分类输入指令并选择高质量的合成响应和判断，可以进一步用于训练，提高评估器的性能。
🔸结合合成偏好数据和人工标注偏好数据进行训练，模型在不同权重下都保持了较强的性能，并在总体准确性上略有提升。

💡个人观点

论文核心在于通过自监督的方式构建伪标签数据进行迭代训练。

附录