mistralai轻量级代理式编程任务大模型速递：Devstral-Small-2505

一、模型概述

Devstral-Small-2505 是由 Mistral AI 与 All Hands AI 合作开发的一款面向软件工程任务的代理型语言模型。它在使用工具探索代码库、编辑多个文件以及为软件工程代理提供支持等方面表现出色。该模型基于 Mistral-Small-3.1 进行微调，具有最长 128k 令牌的上下文窗口。在 SWE-bench 基准测试中，它以 46.8% 的成绩位列开源模型第一。

二、关键特性

• 代理式编程能力 ：Devstral 专门针对代理式编程任务进行设计，适合软件工程代理使用。

• 轻量级 ：参数规模仅 240 亿，可在配备 32GB 内存的 RTX 4090 或 Mac 设备上运行，适合本地部署和设备端使用。

• 开源许可 ：采用 Apache 2.0 许可证，允许用于商业和非商业目的的使用与修改。

• 大上下文窗口 ：上下文窗口达到 128k 令牌，能处理更长的代码和文本序列。

• 特定分词器 ：使用 Tekken 分词器，词汇量为 131k。

三、基准测试表现

在 SWE-Bench 测试中，Devstral 在 OpenHands 支架下取得 46.8% 的验证分数，超越众多开源顶尖模型。例如，GPT-4.1-mini 在 OpenAI 支架下的分数为 23.6%，Claude 3.5 Haiku 在 Anthropic 支架下的分数为 40.6%，SWE-smith-LM 32B 在 SWE-agent 支架下的分数为 40.2%。当在同一测试支架（OpenHands）下评估时，Devstral 远超更大规模的模型，如 Deepseek-V3-0324 和 Qwen3 232B-A22B。

四、使用方法

• API 使用 ：创建 Mistral 账户获取 API 密钥后，运行相应命令启动 OpenHands docker 容器，通过 OpenHands 平台连接和使用 Devstral。

• 本地推理 ：可通过 vllm、mistral-inference、transformers、LMStudio、llama.cpp、ollama 等库进行本地部署。

五、具体部署方式

• OpenHands 部署 ：先使用 vLLM 或 Ollama 等启动与 OpenAI 兼容的服务器，然后通过安装 OpenHands 并配置相关参数，连接服务器后即可在 OpenHands 中使用 Devstral。

• vLLM 部署 ：安装 vLLM 及相关依赖后，启动服务器并通过 Python 脚本与客户端通信。

• mistral-inference 部署 ：安装 mistral_inference，下载模型文件，使用命令运行模型并进行交互。

• transformers 部署 ：安装 mistral-common 和 transformers，加载模型和分词器，生成文本。

• LMStudio 部署 ：下载模型权重，安装 LM Studio 及相关工具，导入模型并在 LM Studio 中运行，通过 Openhands 连接使用。

• llama.cpp 部署 ：下载模型权重，通过 llama.cpp 命令行界面运行模型。

• Ollama 部署 ：使用 Ollama 命令行界面运行模型。

六、总结

Devstral-Small-2505 凭借其在软件工程任务中的卓越性能、轻量级设计、开源许可以及大上下文窗口等优势，为开发者提供了一个强大的本地部署和代理式编程解决方案。无论是通过 API 还是本地推理，用户都能便捷地使用该模型来提升软件工程效率。

Devstral-Small-2505 核心技术汇总表