DevOps-Eval：蚂蚁集团联合北京大学发布首个面向DevOps领域的大语言模型评测基准！

1. 背景

大语言模型在各类NLP下游任务上取得了显著进展。然而在DevOps领域，由于缺乏专门用于大型语言模型的评测基准，在有效评估和比较该领域大语言模型的能力方面存在严重不足。

为弥补这一不足，蚂蚁集团联合北京大学发布了首个面向DevOps领域的大模型评测基准DevOps-Eval，以帮助开发者跟踪DevOps领域大模型的进展，并了解各个DevOps领域大模型的优势与不足。

DevOps-Eval根据DevOps全流程进行划分，包含计划、编码、构建、测试、发布、部署、运维和监控这8个类别，包含4850道选择题。此外，DevOps-Eval还特别对运维/监控类别做了细分，添加日志解析、时序异常检测、时序分类和根因分析等常见的AIOps任务。由于DevOps-Eval根据场景对评测样本做了详尽的细分，因此除了DevOps领域大模型，也方便对特定领域大模型进行评测，如AIOps领域等。

目前，我们已发布了第一期的评测榜单，首批评测大模型包含OpsGpt、Qwen、Baichuan、Internlm等开源大语言模型；同时，DevOps-Eval相关论文也在紧锣密鼓地撰写中。我们欢迎相关从业者一起来共建DevOps-Eval项目，持续丰富DevOps领域评测题目或大模型，我们也会定期更新题库和评测榜单。

GitHub 地址：GitHub - codefuse-ai/codefuse-devops-eval: 首个开源的针对DevOps/AIOps领域大模型的评测基准！

HuggingFace 地址：https://huggingface.co/datasets/codefuse-admin/devopseval-exam

2. 评测数据

2.1. 数据来源

DevOps-Eval最终生成的样本格式都为单项选择题，采用此类格式的原因是单项选择题客观性高，不但能够提高样本收集效率，并且方便进行自动化评测。因此，我们收集样本的策略是尽可能获得选择题原题，或者通过某些手段生成或转换为选择题。经过统计，该项目的数据来源可以分为以下5大类：

1. 选择题类试题：直接为选择题形式的公开试题，例如计算机通识类考试试题、DevOps专业考试试题等；
2. 问答类试题：此类试题以问答题的形式出现，且已按照DevOps场景进行了有效划分，来源如超级码客、devops-exercises等，我们再在问答题基础上通过ChatGPT生成答案并转换为选择题；
3. 开源数据集：基于开源数据集构造AIOps相关样本，例如基于LOGPAI的数据构造日志解析相关的选择题样本，基于TraceRCA的数据构造根因分析相关选择题样本；
4. ChatGPT生成：某些细分场景缺乏现成的试题，我们使用场景关键词通过ChatGPT直接生成相应的选择题；
5. 数据仿真生成：通过数据仿真的手段生成数据，例如时序异常检测、时序分类等试题。

2.2. 数据类别

DevOps-Eval根据DevOps全流程进行划分，共分为8个大类和53个子类，包含4850道选择题。其中，AIOps场景有4个，共计2200个中英文题目。每个子类分为dev数据集和test数据集。其中，dev数据集包含5个带有标签和解析的样例，用于few-shot评测；test数据集仅包含标签，用于模型评测。图2.1给出了DevOps-Eval数据的具体细分类别。若要进一步了解各个类别包含的具体内容，可以参考Github中更为具体的样本明细脑图。

图2.1 数据细分类别

2.3. 数据样例

2.3.1. DevOps

以下样本来自于CODE大类下的versionControl子类，主要考察git相关知识。

编号	4
问题	如何找到Git特定提交中已更改的文件列表？
A	使用命令 `git diff --name-only SHA`
B	使用命令 `git log --name-only SHA`
C	使用命令 `git commit --name-only SHA`
D	使用命令 `git clone --name-only SHA`
答案	A
解析	分析原因：git diff --name-only SHA命令会显示与SHA参数对应的提交中已修改的文件列表。参数--name-only让命令只输出文件名，而忽略其他信息。其它选项中的命令并不能实现此功能。

2.3.2. AIOps

• 日志解析

编号	0
问题	下面是一些运行日志 0 04:21:15,429 WARN Cannot open channel to 2 at election address /10.10.34.12:3888 1 19:18:56,377 WARN ******* GOODBYE /10.10.34.11:52703 ******** 2 19:13:46,128 WARN ******* GOODBYE /10.10.34.11:52308 ******** 3 19:16:26,268 WARN ******* GOODBYE /10.10.34.11:52502 ******** 4 09:11:16,012 WARN Cannot open channel to 3 at election address /10.10.34.13:3888 5 16:37:13,837 WARN Cannot open channel to 2 at election address /10.10.34.12:3888 6 09:09:16,008 WARN Cannot open channel to 3 at election address /10.10.34.13:3888 7 15:27:03,681 WARN Cannot open channel to 3 at election address /10.10.34.13:3888 日志最前面三部分别为序号、时间戳和日志Level，在不考虑这三部分内容的情况下，此处我们设定日志的变量用'<*>'代替，token与token之间用空格分隔，那么请问上述日志的日志模版具体是什么？
A	Notification time out: <*> 和 Connection broken for id <*>, my id = <*>, error =
B	Send worker leaving thread 和 Connection broken for id <*>, my id = <*>, error =
C	Received connection request /<*>:<*> 和 Interrupting SendWorker
D	Cannot open channel to <*> at election address /<*>:<*> 和 ******* GOODBYE /<*>:<*> ********
答案	D
解析	根据日志中的内容，选项D是最符合日志模板的。日志中包含了"Cannot open channel to &lt;*&gt; at election address /&lt;*&gt;:&lt;*&gt;"和"******* GOODBYE /&lt;*&gt;:&lt;*&gt; ********"这两个固定的模板片段，它们都在选项D中出现了。同时，其他选项中的模板片段与日志中的内容不匹配。因此，选项D是最符合日志模板的。

• 时序异常检测

上述日志解析样例为给定日志给出具体模版，此外还有给定日志给出模版个数，给定日志模版判断哪些日志由给定模版生成。此外限于篇幅，此处不再展示时序分类和根因分析样例，具体可以查看HuggingFace数据集。

2.4. 数据下载

• 方法一： 直接下载（也可以用浏览器打开下面的链接）

wget https://huggingface.co/datasets/codefuse-admin/devopseval-exam/resolve/main/devopseval-exam.zip
# 然后可以使用 pandas加载数据：
import os
File_Dir="devopseval-exam"
test_df=pd.read_csv(os.path.join(File_Dir,"test","UnitTesting.csv"))

• 方法二：使用Hugging Face datasets库函数

from datasets import load_dataset
dataset=load_dataset(r"DevOps-Eval/devopseval-exam",name="UnitTesting")
print(dataset['val'][0])

3. 评测设置

3.1. 评测模型

一期我们选取了比较热门的不同参数大小、不同机构发布的通用大模型和运维领域大模型，具体细节如下表。后续我们也会评测更多其他的大模型。

模型类别	模型名称	参数量
通用大模型	Qwen-7B	7B
	Qwen-7B-Chat	7B
	Qwen-14B	14B
	Qwen-14B-Chat	14B
	Baichuan2-7B	7B
	Baichuan2-13B	13B
	Internlm-7B	7B
运维领域大模型	DevOps-Model-7B	7B
	DevOps-Model-7B-Chat	7B
	DevOps-Model-14B	14B
	DevOps-Model-14B-Chat	14B

3.2. 评测方式

DevOps-Eval包含Zero-shot和Few-shot两种评测方式。其中针对DevOps题目，我们主要评测Zero-shot和Five-shot的结果。而针对AIOps题目，由于题目的token长度较长（如上面展示的日志解析样例，包含多行日志），Five-shot后的题干长度会超过2k个token。而大部分模型的训练的上下文就是2k，所以针对AIOps的题目，我们主要评测Zero-shot和One-shot的结果。

Base模型和Chat模型获取预测结果的方式如下：

• Base模型：我们将问题输入大模型后，基于模型预测下一个Token的得分，获得分别对应A，B，C，D四个选项的得分，将得分最高的选项作为模型对于这道题预测结果；
• Chat模型：我们先将问题转换为Chat模型对齐训练时使用的prompt，比如Qwen采用的是chatml的格式，Baichuan2是一种自定义的格式，采用模型对齐训练的格式能够使得模型更好地发挥其能力。当转换好后输入大模型，然后用和Base模型相同的方式获取预测结果。

4. 评测结果

4.1. 🏆 DevOps全流程评测榜单

4.1.1. 0-shot评测结果

如下图所示，0-shot评测结果中DevOpsPal-14B-Chat平均分最高，达到了80.34分，Internlm-7B-Base评分较低，为66.91分。从总体上来看，各模型的分数区分度不大。

4.1.2. 5-shot评测结果

如下图所示，5-shot的结果要稍好于0-shot，其中DevOpsPal-14B-Chat平均分依然最高，达到了81.77分，Internlm-7B-Base评分较低，为69.17分。从总体上来看，各模型的分数区分度也并不大，说明样本集难度偏低，后期需要区分下样本难度等级。

4.2. 🔥 AIOps场景评测榜单

4.2.1. 0-shot评测结果

从0-shot结果来看Qwen-14B-Base平均分最高，达到了49.27分，Internlm-7B—Chat评分较低，为32.0分。从总体上来看，各模型在AIOps类别的区分度明显变大。

4.2.2. 1-shot评测结果

1-shot的结果要稍好于0-shot，其中DevOpsPal-14B—Chat平均分最高，达到了53.91分，Internlm-7B—Chat依然评分较低，为32.73分。在不同细分类别的表现，根因分析得分相对较高，可能跟根因分析题目做了简化相对较为简单有关，而时序异常检测整体表现都不太好，当前大模型对时序类数据的处理依然有待提升。

5. 未来展望

未来我们将持续对DevOps-Eval项目进行优化，主要优化方向包括以下几点：

1）不断丰富评测数据集：

• • 当前DevOps全流程评测数据主要为中文，后续将增加英文题目；
  • 当前不同类别之间的数据量存在较大差异，需要持续补充数据集，平衡各类别的数据量；
  • 当前评测数据主要以知识类为主，后续将增加更多任务类题目，且题型将不局限于选择题，增加问答等形式；
  • 从DevOps全流程评测结果可以看出，当前评测模型之间得分差异较小，说明当前DevOps全流程的评测数据难度的区分度一般，需要对数据集增加难度分级；

2）重点关注AIOps领域：

• • AIOps一直是运维领域的研究热点，大模型与AIOps能碰撞出什么火花也是当前行业内最关心的话题。目前DevOps-Eval已涵盖4类常见的AIOps任务，后续将继续增加，直至覆盖运维领域的所有智能化任务；

3）持续增加评测模型：

• • 一期主要评测了一些主流的、规模不是很大的开源模型，后续将覆盖更多的模型，并重点跟踪评测面向DevOps和AIOps领域的大模型。

希望大家一起来共建DevOps-Eval，期待在大家的努力下，建立更准确、更全面的DevOps领域大模型评测体系，推动DevOps领域大模型技术的不断发展与创新。

6. 关于DevOpsGPT

DevOpsGPT是我们发起的一个针对DevOps领域大模型相关的开源项目，主要分为三个模块。本文介绍的DevOps-Eval是其中的评测模块，其目标是构建DevOps 领域LLM行业标准评测。此外，还有DevOps-Model、DevOps-ChatBot两个模块，分别为DevOps领域专属大模型和DevOps领域智能助手。我们的目标是在DevOps领域，包含开发、测试、运维、监控等场景，真正地结合大模型来提升效率、成本节约。我们期望相关从业者一起贡献自己的才智，来让“天下没有难做的coder”，我们也会定期分享对于 LLM4DevOps 领域的经验&尝试。

欢迎使用&讨论&共建
（1）ChatBot - 开箱即用的 DevOps 智能助手：GitHub - codefuse-ai/codefuse-chatbot: DevOps-ChatBot 是一个开源的 AI 智能助手，专为软件开发的全生命周期而设计，通过知识检索、工具使用和沙箱执行，能解答您开发过程中的各种问题。
（2）Eval - DevOps 领域 LLM 行业标准评测：GitHub - codefuse-ai/codefuse-devops-eval: 首个开源的针对DevOps/AIOps领域大模型的评测基准！
（3）Model - DevOps 领域专属大模型：GitHub - codefuse-ai/CodeFuse-DevOps-Model: DevOps-Model 是一系列 DevOps 领域的大模型，旨在回答整个开发运维生命周期中所有产生的问题。做到有问题，问 DevOps-Model ！