1. SWE-bench Verified 概述
1.1 定义与目的
SWE-bench Verified 是 OpenAI 推出的一项新的评估基准,旨在更可靠地评估 AI 模型解决现实世界软件问题的能力。该基准是现有 SWE-bench 的改进版本,通过人工筛选,确保了测试的范围适当且问题描述明确,从而提高了评估的准确性和可靠性。
1.2 与原始SWE-bench的比较
与原始的 SWE-bench 相比,SWE-bench Verified 进行了以下几项关键改进:
- 人工筛选:由专业软件开发人员对测试集中的每个样本进行审查,确保问题描述清晰,单元测试合理。
- 测试集大小:SWE-bench Verified 包含 500 个经过验证的样本,是一个更精炼的子集,取代了原始的 SWE-bench 和 SWE-bench Lite 测试集。
- 评估工具:开发了新的评估工具,使用 Docker 容器化环境,简化了评估过程并减少了环境配置错误。
- 性能提升:在 SWE-bench Verified 上,例如 GPT-4o 模型的解决问题能力显著提高,从原始基准的 16% 提升到了 33.2%,显示了改进后的基准更好地反映了 AI 模型的真实能力。
2. SWE-bench Verified 的改进点
2.1 单元测试的调整
OpenAI 在推出 SWE-bench Verified 时,对单元测试进行了重要的调整,以确保评估的准确性和公正性。原先的 SWE-