论文略读：SWE-bench: Can Language Models Resolve Real-world Github Issues?

最新推荐文章于 2025-04-27 18:10:27 发布
最新推荐文章于 2025-04-27 18:10:27 发布
阅读量2.1k 收藏 4
点赞数 6
分类专栏： 论文笔记 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/137818790
版权

iclr 2024 oral reviewer评分 5668

  • 现有的语言模型（LMs）的基准测试已经饱和，无法捕捉到最先进的语言模型能做什么和不能做什么的前沿。
    • ——>要具有挑战性的基准测试
  • 论文引入了SWE-bench
    • 在现实软件工程环境中评估语言模型的基准测试
      • ​​​​​​​模型的任务是解决提交到热门GitHub仓库的问题（通常是bug报告或功能请求）
      • 每个任务都需要生成描述对现有代码库应用的更改的补丁。
      • 然后，使用仓库的测试框架评估修订后的代码库
    • 修复一个bug可能涉及导航一个大型仓库，理解不同文件中的功能之间的相互作用，或者在复杂的代码中发现一个小错误
    • 这个是现有的编码基准测试不具备的
      • HumanEval主要涉及自包含问题，这些问题可以在几行代码内解决

  •  SWE-bench相较于现有的LM编程基准测试具有多个优势
    • 利用用户提交的问题和解决方案的现实设置
    • 从12个仓库中提取的独特代码问题的多样输入
    • 基于执行的评估的强大框架
    • 能够持续用新实例更新基准测试，几乎不需要人工干预

最低0.47元/天 解锁文章
探索SWE-bench：语言模型在GitHub问题解决中的新前沿
gitblog_00197的博客
08-12 534
探索SWE-bench：语言模型在GitHub问题解决中的新前沿 SWE-benchSWE-Bench: Can Language Models Resolve Real-world Github Issues?项目地址:https://gitcode.com/gh_mirrors/sw/SWE-bench 在自然语言处理（NLP）和机器学习领域，SWE-bench项目以其独特的定位和强大的功能...
论文学习_SWE-bench: Can Language Models Resolve Real-World GitHub Issues?（ICLR20204，普林斯顿）
kitsch0x97的博客
03-03 1034
当前语言模型的能力发展已超越现有评估体系的覆盖范围，因此必须针对其技术前沿开展系统性研究以指导未来方向，<研究背景>。我们发现软件工程领域具有场景丰富性、挑战持续性和应用真实性等特点，能够为下一代语言模型提供多维度的能力验证平台，<研究动机>。为此，我们构建了SWE-Bench评估框架——该框架基于12个主流Python开源项目中的实际开发场景，从GitHub真实问题库中提取了2,294个具有完整代码库环境及问题描述的软件工程任务（对应已提交的拉取请求），要求语言模型通过代码编辑解决问题，<研究内容>。此类
AI 编码新王炸，Augment （SWE-bench 冠军）免费登场，专治复杂大项目，硬刚 Cursor？
lythinking的博客
04-08 1666
我们是实打实地构建了一个真正的上下文引擎，它深度理解企业级代码库，动态检索最相关的信息，喂给 LLM 最需要的东西，从而给出高质量、高相关的建议。更坑的是，模型选择器可能带来意外成本。跟 LeetCode 刷题不一样，它模拟的是真实世界的软件工程：从 GitHub issues 里找真实 bug，扔给你一个代码库（依赖都装好了），让你自己搞定。Augment 刚出来，立马有人拿它跟 Cline、Cursor 这些比，还有人刚从 VS Code 换到 Cursor，又来了个新的，直呼 “太快了跟不上”。
SWE Bench：AI编码代理的补丁中心化评估工具
XianxinMao的博客
01-27 1070
SWE Bench是一个专门用于评估AI编码代理（如Devin）的工具，通过提供包含已知问题的代码库数据集，测试这些工具识别和修复问题的能力。其评估流程包括克隆代码库、修复问题、生成补丁、存储补丁及元数据，并通过提交模型到SWE Bench进行验证和评估。SWE Bench采用“补丁中心化方法”，通过自动化工作流和大语言模型（LLM）生成补丁文件，并经过静态和动态测试确保补丁的准确性。尽管该方法在自动化修复代码方面展示了潜力，但在处理边缘情况时仍需大量手动干预，未来改进方向包括提高补丁生成的准确性和减少手动
OpenAI推出SWE-bench Verified？
百态老人的博客
08-14 680
SWE-bench Verified 是 OpenAI 推出的一项新的评估基准，旨在更可靠地评估 AI 模型解决现实世界软件问题的能力。该基准是现有 SWE-bench 的改进版本，通过人工筛选，确保了测试的范围适当且问题描述明确，从而提高了评估的准确性和可靠性。OpenAI推出的SWE-bench Verified是一个重要的进步，它代表着对AI模型在实际软件工程任务中能力评估的深化。
SWE-bench Verified
百态老人的博客
01-08 936
SWE-bench Verified 是 OpenAI 推出的一个经过人工验证的 SWE-bench 子集，旨在更可靠地评估 AI 模型解决现实世界软件问题的能力。它是 OpenAI 准备框架的一部分，该框架是一套安全地开发和部署其前沿模型的方法。作为其中的重要组成，OpenAI 开发了一系列指标来跟踪、评估和预测模型的自主行动能力。软件工程任务的复杂性使得评估 AI 模型在这方面的能力具有挑战性，而 SWE-bench Verified 就是为了解决这个问题而诞生的。
SWE-bench: 用于评估大型语言模型在真实世界软件问题上的开源项目
gitblog_00477的博客
01-08 368
SWE-bench: 用于评估大型语言模型在真实世界软件问题上的开源项目 SWE-bench SWE-Bench: Can Language Models Resolve Real-world Github Issues? 项目地...
SWE-bench Verified 与其他类似工具的比较
百态老人的博客
11-27 1065
SWE-bench Verified是OpenAI推出的用于评估人工智能模型在软件工程任务中表现的基准测试工具。与其他类似工具相比，它具有一些独特的特点和优势。首先，SWE-bench Verified在评估过程中使用了容器化Docker环境开发的新评估工具包，使评估过程更加一致和可靠，降低了与开发环境设置相关的问题发生的可能性。例如，在SWE-bench Verified上，GPT-4o解决了33.2%的样本，表现最佳的开源代理框架Agentless的得分则翻了一番，达到了16%。
探索SWE-bench：普林斯顿NLP团队的软件工程评估与预测工具
gitblog_00010的博客
04-25 1354
探索SWE-bench：普林斯顿NLP团队的软件工程评估与预测工具 SWE-benchSWE-Bench: Can Language Models Resolve Real-world Github Issues?项目地址:https://gitcode.com/gh_mirrors/sw/SWE-bench 项目简介 是由普林斯顿大学自然语言处理（NLP）团队开发的一个开源项目，旨在为软件工程...
论文略读：Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?
qq_40206371的博客
07-07 1389
支持从32k到128k，再到1M个标记的上下文长度。——>能够系统地评估模型性能随上下文长度增加的变化。SQL：理解自然语言查询并从数据库中提取信息。多示例上下文学习：从大量示例中学习并完成任务。视觉检索：根据文本描述找出相关图像或视频。文本检索：从大量文档中找出相关内容。LOFT的一个关键特性是其可扩展性。音频检索：匹配文本与相应音频。RAG：基于检索信息生成答案。
论文略读：ASurvey of Large Language Models for Graphs
qq_40206371的博客
01-15 693
2024 KDD。
论文略读：FDTI: Fine-grained Deep Traffic Inference with Roadnet-enriched Graph （PKDD2023)
qq_40206371的博客
10-21 394
这是首次完成城市级别的细粒度交通预测。
论文略读：Uncovering Hidden Representations in Language Models
qq_40206371的博客
02-22 528
说一下主要结论吧,对于下游任务，语言模型的中间层在所有架构和任务中始终优于最后一层
Multi-SWE-bench：首个多语言代码修复基准开源
最新发布
volcenginetod的博客
04-27 793
作为一个标准化、可复现、覆盖多语言的“自动编程”开源评测基准，Multi-SWE-bench 旨在推动自动编程技术从仅能解决单一语言（如 Python）和低复杂度的任务，朝着支持多语言、具备真实问题解决能力的通用型智能体迈进。同时，SWE-bench 中的任务未做难度分级，难以系统衡量模型在不同能力层次上的表现。在构建 Multi-SWE-bench 过程中，团队设计并执行了一套系统性的数据构建流程，共分五个阶段，涵盖从项目筛选、数据采集到数据验证的全过程，最大程度保障数据的真实性、全面性与可用性。
Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving
c_cpp_csharp的专栏
04-15 106
本文提出了多语言问题解决基准，旨在评估大型语言模型（LLM）在跨编程语言场景下解决代码问题的能力。现有基准（如SWE-bench）主要聚焦Python，而Multi-SWE-bench覆盖了Java、TypeScript、JavaScript、Go、Rust、C、C++共7种语言，包含1,632个高质量实例，这些实例经过68位专家的严格人工注释和验证，确保了基准的可靠性和准确性。
AI 编码新王炸！Augment （SWE-bench 冠军）免费登场，专治复杂大项目，硬刚 Cursor？
强化学习曾小健
04-08 4283
Augment Code 自称是第一个能深度理解大型复杂项目、专为团队协作打造的 AI 编码平台， 今天正式亮相，号称能适应你的代码上下文，给团队生产力上 Buff。官方喊话了：“ 免费来试试，把你最大最复杂的代码库丢过来，看我们搞不搞得定。创始人 Scott Dietzen 表示，Webflow、Kong、Pigment 这些公司已经在用了。Augment 官方在博客中写到：AI正在改变我们编写代码的方式，而且变化很快。AI现在可以创建简单的应用程序、解释代码块并发现程序中的错误。
multi-swe-bench：多语言代码问题解决评估的多语言基准
gitblog_01167的博客
04-15 600
multi-swe-bench：多语言代码问题解决评估的多语言基准 multi-swe-bench Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving 项目...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值