Meta：将元奖励模型引入LLM对齐

📖标题：META-REWARDING LANGUAGE MODELS:Self-Improving Alignment with LLM-as-a-Meta-Judge
🌐来源：arXiv, 2407.19594

🛎️文章简介

🔸研究问题：在训练大语言模型（LLM）时，如何同时提升模型作为行动者（生成响应）和作为评判者（评估响应）的能力，以避免奖励信号的饱和或过度拟合。
🔸主要贡献：论文提出了一种名为Meta-Rewarding的方法，通过引入元评判者的角色来评估模型自身的评判，从而实现模型自我改进的能力。

📝重点思路

🔺相关工作

🔸RLHF：使LLM与人类价值观保持一致，大致分为与奖励模型对齐或直接基于偏好数据集对齐。
🔸用LLM进行评估：使用LLM进行评估和训练奖励模型已成为标准做法，核心在于如何构建训练数据。
🔸超级对齐：当前的对齐方法主要依赖于人类提供演示的监督微调（SFT）或来自人类反馈的强化学习（RLHF），超越人类水平的对齐则被称为超级对齐。