SWE-bench: 用于评估大型语言模型在真实世界软件问题上的开源项目

SWE-bench: 用于评估大型语言模型在真实世界软件问题上的开源项目

SWE-bench SWE-Bench: Can Language Models Resolve Real-world Github Issues? 项目地址: https://gitcode.com/gh_mirrors/sw/SWE-bench

1. 项目基础介绍及主要编程语言

SWE-bench 是由普林斯顿大学自然语言处理团队开发的一个开源项目，旨在评估大型语言模型在解决真实世界GitHub软件问题方面的能力。该项目的主要编程语言是Python，同时使用了Shell脚本进行一些辅助操作。

2. 项目核心功能

SWE-bench 的核心功能是提供了一个基准测试，用于评估语言模型在给定代码库和问题描述的情况下，生成解决问题的补丁代码的能力。它收集了来自GitHub的真实世界软件问题，并要求模型针对这些问题生成有效的代码修复。

3. 项目最近更新的功能

• SWE-bench Verified: 该项目引入了SWE-bench Verified，这是一组经真实软件工程师确认可以解决的问题子集，增强了评估的真实性和可靠性。
• 容器化评估工具: SWE-bench 现在支持使用Docker进行容器化评估，这提高了评估的可重复性，并确保了不同环境下的结果一致性。
• 性能改进: 项目团队对评估工具进行了重大改进，解决了之前在评估过程中遇到的问题，提高了评估效率和准确性。
• SWE-agent发布: SWE-bench 发布了SWE-agent，这个工具在完整的SWE-bench测试集上设置了新的性能记录。

以上更新内容展现了SWE-bench项目的持续发展和对性能及可靠性的重视。

SWE-bench SWE-Bench: Can Language Models Resolve Real-world Github Issues? 项目地址: https://gitcode.com/gh_mirrors/sw/SWE-bench