DevOps-Model

大语言模型在各类 NLP 下游任务上都取得了显著进展，各种垂直领域大模型更是如雨后春笋般层出不穷。然而在 DevOps 领域，却迟迟没有相关大模型问世。为填补这方面的空白，蚂蚁集团联合北京大学发布了面向中文 DevOps 领域的首个开源大语言模型，即 DevOps-Model 。让天下没有难做的开发和运维

该大模型旨在帮助开发人员在软件开发和运维的整个生命周期中提高效率，最终目标是实现在 DevOps 流程中面临任何问题时，都可以通过向 DevOps-Model 提问来获取解决方案！

当前已经开源了 7B 和 14B 两种规格的 Base 和 Chat 模型，同时还开源了对应的训练代码。

此外，为了有效评估 DevOps 领域大模型的性能，我们同时发布了首个面向 DevOps 领域的大模型评测基准 DevOps-Eval。该评测基准根据 DevOps 全流程进行划分，包含计划、编码、构建、测试、发布、部署、运维和监控这 8 个类别，包含 4850 道选择题。

此外，DevOps-Eval 还特别对运维 / 监控类别做了细分，添加日志解析、时序异常检测、时序分类和根因分析等常见的 AIOps 任务。由于 DevOps-Eval 根据场景对评测样本做了详尽的细分，因此除了 DevOps 领域大模型，也方便对特定领域大模型进行评测，如 AIOps 领域等。

目前，第一期 DevOps 领域模型的评测榜单已发布，除 DevOps-Model 外，还包含 Qwen、Baichuan、Internlm 等开源大语言模型；同时，DevOps-Model 和 DevOps-Eval 相关论文也在撰写中。欢迎相关从业者一起来进行共建、优化 DevOps 领域大模型和评测题目，我们也会定期更新模型、题库和评测榜单。

DevOps-Model

• Github 地址：https://github.com/codefuse-ai/CodeFuse-DevOps-Model/tree/main

• 模型地址：

• 7B 版本

  https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-7B-Base/summary

  https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-7B-Chat/summary

• 14B 版本

  https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Base/summary

  https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Chat/summary

DevOps-Eval

• GitHub 地址：https://github.com/codefuse-ai/codefuse-devops-eval

• HuggingFace 地址：https://huggingface.co/datasets/codefuse-admin/devopseval-exam

DevOps-Model 的构建过程

基座模型

在基础通用模型选择上，我们考量了模型训练数据大小、模型能力、模型参数量级后，最终选择的是 Qwen-7B 和 Qwen-14B 作为通用模型。因为在公开的一些评测榜单上，Qwen 系列模型基本属于同参数量级下效果最好的模型。

同时预训练的语料有达到 3T token 的量级，可以给基座模型带来更为全面的知识。

训练框架

训练框架上，我们采用的是基于开源训练库 LLaMA-Factory 加以改造来进行训练，训练时通过 flash-attention、ZeRO、混合精度等技术来保障高效训练。

整体的 Qwen 模型架构是在 LLaMA 的结构上做了一些优化，其中包含采用了 RoPE 作为位置编码的方式来提高模型的外推能力，采用了 RMSNorm 来提高训练稳定性，采用 SwiGLU 激活函数来提高模型的表现。

训练流程

根据查阅文献可知，大部分领域模型都是在对话模型的基础上，通过 SFT 微调来进行知识注入。而 SFT 微调所需要 QA 语料基本都来自于 ChatGPT 生成。然而，该方案可能存在 QA 语料无法完全覆盖领域知识的情况。

因此，D