OpenAI推出SWE-bench Verified？

1. SWE-bench Verified 概述

1.1 定义与目的

SWE-bench Verified 是 OpenAI 推出的一项新的评估基准，旨在更可靠地评估 AI 模型解决现实世界软件问题的能力。该基准是现有 SWE-bench 的改进版本，通过人工筛选，确保了测试的范围适当且问题描述明确，从而提高了评估的准确性和可靠性。

1.2 与原始SWE-bench的比较

与原始的 SWE-bench 相比，SWE-bench Verified 进行了以下几项关键改进：

• 人工筛选：由专业软件开发人员对测试集中的每个样本进行审查，确保问题描述清晰，单元测试合理。
• 测试集大小：SWE-bench Verified 包含 500 个经过验证的样本，是一个更精炼的子集，取代了原始的 SWE-bench 和 SWE-bench Lite 测试集。
• 评估工具：开发了新的评估工具，使用 Docker 容器化环境，简化了评估过程并减少了环境配置错误。
• 性能提升：在 SWE-bench Verified 上，例如 GPT-4o 模型的解决问题能力显著提高，从原始基准的 16% 提升到了 33.2%，显示了改进后的基准更好地反映了 AI 模型的真实能力。

2. SWE-bench Verified 的改进点

2.1 单元测试的调整

OpenAI 在推出 SWE-bench Verified 时，对单元测试进行了重要的调整，以确保评估的准确性和公正性。原先的 SWE-