基于ModelScope/AgentScope的多智能体框架在SWE-Bench中的实践探索

基于ModelScope/AgentScope的多智能体框架在SWE-Bench中的实践探索

agentscope 项目地址: https://gitcode.com/gh_mirrors/ag/agentscope

引言

在软件工程领域，如何利用人工智能技术提升代码修复效率一直是研究热点。本文将详细介绍我们基于ModelScope/AgentScope多智能体框架在SWE-Bench基准测试中的实践成果，该框架成功解决了63.4%的代码问题。我们将从技术实现、方法论到实践经验进行全面剖析。

技术架构概述

我们的解决方案采用了两阶段多智能体架构：

1. 问题解决阶段：通过三个专业智能体的协同工作
2. 投票决策阶段：利用训练好的奖励模型进行最优方案选择

这种架构设计充分结合了大型语言模型(LLM)的推理能力和专业工具的操作能力，实现了从问题复现到最终修复的全流程自动化。

问题解决阶段详解

1. 问题复现智能体

核心职责：

• 根据PR描述准确理解问题
• 创建reproduction_test.py测试文件
• 确保问题能够被稳定复现

技术特点：

• 采用思维链(Chain-of-Thought)分析模式
• 具备测试文件编写能力
• 支持问题复现验证

2. 问题修复智能体

核心职责：

• 分析问题根源
• 生成修复补丁
• 验证修复效果

关键技术：

• 代码差异分析工具
• Git版本控制集成
• 修复效果即时验证机制

3. 测试验证智能体

核心职责：

• 执行相关单元测试
• 确保修复不引入回归问题
• 必要时迭代优化修复方案

技术实现：

• 自动化测试执行框架
• 测试失败自动重试机制
• 修复方案迭代优化流程

投票决策阶段设计

奖励模型训练

我们基于Qwen2.5-Coder-Instruct模型进行微调，训练数据来自多个专业软件工程数据集。该模型能够：

1. 分析补丁质量
2. 评估修复方案的完整性
3. 预测方案的实际效果

投票机制

从四种候选方案中：

1. 统一轨迹格式处理
2. 奖励模型评分
3. 选择最高分方案

相比直接使用LLM作为评判者，训练后的奖励模型表现出更稳定的性能。

实践经验与洞见

1. LLM能力边界

虽然大型语言模型展现出强大的问题定位和修复能力，但在以下方面仍存在局限：

• 代码库特定约定的理解
• 代码对称性保持
• 复杂断言条件的满足

2. 高方差挑战

我们的实践表明：

• 并行运行结果波动较大
• 小改动可能导致结果显著差异
• 投票机制能有效平滑方差影响

3. 工程优化方向

基于项目经验，我们建议：

• 加强代码库特定知识注入
• 优化智能体的错误恢复机制
• 完善轨迹记录和分析工具

结论与展望

ModelScope/AgentScope多智能体框架在SWE-Bench中的表现验证了其在软件工程自动化领域的潜力。未来我们将继续探索：

1. 更精细化的智能体分工
2. 更强大的奖励模型训练
3. 更稳定的执行流程控制

这项研究为AI辅助软件工程提供了有价值的实践参考，我们期待与业界同行共同推动这一领域的发展。

agentscope 项目地址: https://gitcode.com/gh_mirrors/ag/agentscope