[Arxiv 2024] ProcessBench: Identifying Process Errors in Mathematical Reasoning

TL;DR

• 作者提出 ProcessBench 用于评测 PRM 识别数学问题的回答中首个错误推理步骤的能力，包括了 3400 个 competition- and Olympiad-level math problems，每个样本都包含了 step-by-step solution 以及专家标注的首个错误推理步骤
• 作者在评测中使用了专用的 PRM 以及 prompt-driven LLMs，此外还在 PRM800K 上基于 Qwen2.5-Math-7B-Instruct 微调了新的 PRM Qwen2.5-Math-7B-PRM800K，评测结果以及给 LLM 的 prompt 如下：
  

---

• concern：目前的 o1 类模型已经学会了反思，对于这类模型仅标注第一个错误位置很可能是不够的，因为后续可以通过反思进行修正，也许需要对每个 step (特别是反思后的 steps) 的正确性进行评估

References

• Zheng, Chujie, et al. “ProcessBench: Identifying Process Errors in Mathematical Reasoning.” arXiv preprint arXiv:2412.06559 (2024).
• code: https://github.com/QwenLM/ProcessBench