R1-Zero无监督版本发布！告别SFT，EMPO重新定义大模型推理微调的未来！-CSDN博客

本文链接：https://blog.csdn.net/2401_84495872/article/details/148495702

当前，大语言模型（LLMs）已在数学推理、代码等任务中展现出强大的能力。然而，现有提升推理性能的主流范式，往往依赖监督微调（SFT）与强化学习（RL）的结合，依赖于人工标注的推理路径、标准答案或额外的奖励模型。这不仅成本高昂，也限制了方法的通用性与可扩展性。

针对这一痛点，本文（2025 年 4 月 8 日首次放出）提出 Entropy Minimized Policy Optimization（EMPO）方法，开创性地探索完全无监督条件下实现 R1-Zero-like 范式的大模型推理能力提升策略。

论文标题：

Right Question is Already Half the Answer: Fully Unsupervised LLM Reasoning Incentivization

论文地址：

https://arxiv.org/pdf/2504.05812

Github 地址：

https://github.com/QingyangZhang/EMPO

完全无监督：EMPO 直接从 base 模型进行强化学习训练，不需要 SFT 启动和指令微调，不依赖人工标注的问题答案；

任务通用性：每轮迭代中，从当前策略模型中采样生成多个回答，通过语义等价性构建聚类，用语义簇概率作为奖励信号驱动学习，可适用于数学外的通用推理任务。在语义层面持续最小化回答的不确定性（熵），突破格式固定答案的限制。

为实现语义熵最小化，EMPO 通过最大化下述策略：

需要指出的是，相较于 GRPO 几乎没有 reward hacking 空间的基于回答正确性的奖励，无监督的熵目标在优化过程中可能存在被“投机取巧”利用的风险。例如，模型可能会倾向于过度拟合那些具有高置信度的常见回复模式（例如总是简单的回复 “I don’t know”），以获取更高的奖励，而不真正进行深入推理。

为应对这一问题，文章提出了一种简单的熵阈值控制策略：通过设置双阈值（即和），仅对不确定性处于适中范围的提示进行优化，从而避免模型对于过简单过困难问题的优化。

未来若能设计出更有效的无监督代理目标，将有望进一步提升模型的推理能力，同时降低奖励欺骗的风险。

相比依赖有监督信号的 GRPO，EMPO 仅以问题本身作为唯一监督信号，在无需标注答案或推理轨迹的条件下，仅通过 20K 条推理数据微调，便在数学推理任务中展现出显著性能提升：

EMPO 可适用的推理任务不只包括数学，还包括其他通用推理任务，如物理、化学、生物、法律、医学等通用推理任务。这些问题答案形式自由，正确答案不唯一。

针对更一般的 free-form 的推理任务，EMPO 首先使用蕴含模型（bert-like 的小模型、或参数量 ≤ 1B 的语言模型）对不同回复根据语义相似性进行聚类，计算语义层面的概率作为奖励信号，克服了传统的 GRPO 无法计算开放问答奖励的局限性，通过无监督 RL 微调，模型的通用推理任务能力得到进一步提升：