OpenAI最新研究 | SWE-Lancer：LLM能否在自由软件工程市场赚取百万美元？

🔍 前沿大模型能否独立完成软件开发任务？SWE-Lancer 基准测试揭示 AI 在自由软件工程领域的经济潜力。

SWE-Lancer：挑战 LLM 的真实世界软件工程能力

近日，研究团队推出了一项新的基准测试 SWE-Lancer，专注于评估 大语言模型（LLMs）在自由软件工程市场的真实能力。该基准数据集包含 来自 Upwork 平台的 1,400 多个真实任务，涉及总计 100 万美元 的实际报酬。这项研究首次尝试 量化 AI 在软件工程领域的经济价值，并探索 LLM 是否能与人类开发者竞争。

SWE-Lancer 任务分为两大类：
• 独立工程任务：包括 50 美元的漏洞修复 到 32,000 美元的功能开发，考验 LLM 的代码能力。
• 管理决策任务：模拟 工程经理的决策场景，要求模型在多个技术方案中做出最佳选择。

AI 仍难以胜任大部分任务

在测试过程中，研究人员使用了当前最先进的 LLM，但结果表明 前沿模型仍然无法解决大多数 SWE-Lancer 任务。
• 独立工程任务 采用 端到端测试，并由 经验丰富的软件工程师三重验证。
• 管理决策任务 则比对 真实工程经理的决策 进行评估。

实验结果显示，即便是最强大的 LLM，在复杂软件工程任务上仍然存在明显不足，难以达到人类开发者的水平。

推动 AI 经济影响研究

为了推动该领域的进一步发展，研究团队开源了 SWE-Lancer 统一 Docker 镜像 以及 公开评测子集 SWE-Lancer Diamond，希望借此促成更深入的研究。SWE-Lancer 的最大亮点在于 量化 AI 的软件工程能力，并将其直接与经济价值挂钩，为 AI 研究者提供了一种新的评估方式。

AI 能否真正取代人类开发者？

SWE-Lancer 的出现，不仅是对 AI 代码生成能力的深度考验，更是对其在软件工程市场中商业化价值的探索。尽管当前模型仍然存在诸多局限，但随着 AI 技术的快速发展，未来 LLM 或许能够在软件开发领域 承担更多工作，甚至创造新的商业模式。

这场 AI 与人类软件工程师的较量 仍在继续，究竟 LLM 能否在未来真正站稳脚跟？让我们拭目以待。

📄 论文链接 | 📂 代码库