IBM请求出战——Granite Code模型正式开源

IBM 最近发布了一组名为"Granite Code"的开源型，旨在帮助企业完成各种软件开发任务，并在基准测试中表现出色。这些模型不仅过了一些较大的开源竞争对手，而且在编程任务中展现出了强大的性能。

Granite Code 型分为基础模型和指导模型，每种模型都有四个不同规模的变种，参数数量从30到340亿不等。这些模型的上下文窗口相对较短，例如，其中一个模型的上下文窗口只有128K，这限制了其在包含特定文档或自己的代码库等提示信息时的有效性。不过，IBM 目正在开发具有更大上下文窗口的版本。

基础模型的训练分为两个阶段。第一阶段使用自116种编程语言的3-4万亿个标记进行训练，以建立广泛的理解能力。在第阶段，这些模型使用来自高质量代码和自然语言数据的5000亿个标记进行进一步训练，以强逻辑推理能力。

指导模型是通过对基础模型进行改进而创建的，改进方法包括筛选提交记录、自然语言指令记录和合成生成的代码数据集。

在包括代码合成、调试、解释、编辑、学推理等多个基准测试中，Granite Code 模型在各个规模和基准测试中表现出色，常常超过开源模型两倍以上的大小。例如，在 HumanEvalPack 基准测试中，Granite-8B-Code-Base 的平均得为33.2%，超过Google最佳表现的 CodeGemma-8B 模型的21.3%，尽管 Granite-8-Code-Base 所使用的标记数量明显较少。

这些模型的大部分训练数据来自一个清理过的 GitHub 集 StarCoderData 和其他公开可用的代码库。这一点非常重要，因为目前有一些关于其他代码型（包括 GitHub 本身）涉嫌侵犯训练数据版权的诉讼。

IBM 计划定期更新这些模型，很快将推出具有更大上下文窗口以及针对 Python 和 Java 的专业化版本。这些模型已经在 Hugging FaceGitHub 上可用，并且也是 IBM 的 watsonx 企业平台的一部分。

IBM 的 Granite Code 是一专门用于编程的开源模型，它们在基准测试中表现优异，同时具有较少的参数数量。些模型的特点包括灵活的规模选择、基于广泛训练数据的逻辑推理能力和良好的性能未来，IBM 还计划不断改进和更新这些模型，以满足不同编程任务的需求。

对一组综合任务的评估表明，这些 Granite 代码模型始终与当前可用的开源代码 LLM 中的最新性能相匹配。多功能模型系列针对企业软件开发工作流程进行了优化，在一系列编码任务（包括代码生成、修复和解释）中表现良好。

这些模型可在 Hugging Face、GitHub、watsonx.ai 和 RHEL AI 上使用，RHEL AI 是红帽用于开发、测试和部署生成式 AI 模型的新基础模型平台。基础代码模型与用于为专用域训练 WCA 的模型相同。

所有模型都根据收集的数据进行了训练，这些数据是按照 IBM 的 AI 道德原则和 IBM 法律团队的指南收集的，以便值得信赖的企业使用。这些Granite Code模型今天在Apache 2.0许可下发布。

模型的性能

在与一系列其他模型（包括那些在 Apache 2.0 许可下开放的模型）和更多专有模型的测试中，我们发现我们的模型能够在一系列任务中竞争。在包括 HumanEvalPack、HumanEvalPlus 和 RepoBench 在内的基准测试中，我们看到了大多数主要编程语言（包括 Python、JavaScript、Java、Go、C++ 和 Rust）在代码合成、修复、解释、编辑和翻译方面的出色表现。

Model	MATH	GSM8K	SAT	OCW	MATH+Py	GSM8K+Py
StarCoderBase-7B	2.4	3.8	18.7	2.2	18.2	15.6
CodeLlama-7B	4.1	11.9	12.5	2.9	20.8	26.8
StarCoder2-7B	10.4	27.2	37.5	4.8	28.7	39.4
CodeGemma-7B	21.8	49.0	53.1	6.9	31.1	60.9
Granite-8B-Code-Base	21.4	61.9	62.5	8.8	35.4	63.1
Gemma-7B	24.1	53.3	75.0	7.3	27.4	52.9
Mistral-7B-v0.2	12.8	37.2	53.1	5.8	25.7	45.6
Llama-3-8B	15.6	49.8	34.4	9.9	0.0*	2.4
Lemma-7B	17.3	33.7	59.4	7.0	25.6	40.8