s1: Simple test-time scaling

本文是LLM系列文章，针对《s1: Simple test-time scaling》的翻译。

摘要

测试时间缩放是一种有前景的语言建模新方法，它使用额外的测试时间计算来提高性能。最近，OpenAI的o1模型显示了这种能力，但没有公开分享其方法，导致了许多复制工作。我们寻求最简单的方法来实现测试时间扩展和强大的推理性能。首先，我们根据我们通过消融验证的三个标准（难度、多样性和质量），策划了一个包含1000个问题和推理痕迹的小型数据集s1K。其次，我们开发了预算强制来控制测试时间计算，方法是强制终止模型的思维过程，或者在模型试图结束时多次向模型的生成添加“等待”来延长它。这可能会导致模型对其答案进行双重检查，通常会修复不正确的推理步骤。在s1K上对Qwen2.5-32B-Instruct语言模型进行监督微调并为其配备预算强制功能后，我们的s1-32B模型在竞赛数学问题上比o1预览高出27%（math和AIME24）。此外，通过预算强制扩展s1-32B，可以在没有测试时间干预的情况下推断其性能：在AIME24上从50%到57%。我们的模型、数据和代码都是开源的https://github.com/simplescaling/s1.

1 引言