哪个大模型的编程能力更好？DataLearner编程大模型排行榜帮你选择！开源进展神速，前五已经有4个开源模型！

本文转载自DataLearner官方博客：哪个大模型的编程能力更好？DataLearner编程大模型排行榜帮你选择！开源进展神速，前五已经有4个开源模型！ | 数据学习者官方网站(Datalearner)

编程大模型已经是大模型发展领域最重要的分支之一。最近，有2个开源编程大模型的上线引起了很多人的关注。这两个模型是WizardLM小组开源的基于CodeLLaMA微调的
WizardCoder-Python-34B-v1.0和Phind的Phind-CodeLlama-34B-Python-v1。二者在HumanEval @ Pass1的得分上均超过了GPT-3.5，仅次于GPT-4。为了方便大家对编程大模型有更清晰的比较，DataLearner也发布了一个编程大模型排行榜页面，方便大家对编程大模型领域的进展有清晰的认识。

DataLearner编程大模型排行榜：大模型代码能力评测对比 | 当前主流大模型在代码能力上的表现总榜单 | 数据学习 (DataLearner)

• 编程大模型简介以及现状
• 大模型编程水平的评测方法
  • Human Eval简介
  • MBPP评测简介
• 编程大模型的能力排行分析
• DataLearner大模型编程能力排行榜

编程大模型简介以及现状

 通常，基于代码数据训练的模型不仅在代码补全方面有着更好地支持，也可能是大语言模型逻辑能力的部分来源。此前，编程能力最强的毫无疑问是GPT-4，其Code Interpreter插件（现已更名为Advanced Data Analysis）在用Python做数据分析方面十分让人惊讶（参考：MBA与数据分析师危矣？最新内测版本的ChatGPT已经可以针对excel自动做数据分析和异常分析了！）。

大模型编程水平的评测方法

从大模型的评测方法来看，目前业界有2个评测比较流行。一个是OpenAI发布的HumanEval评测，一个是谷歌发布的MBPP评测。

编程大模型的能力排行分析

为了让大家可以更加简单地对比大模型的编程能力，DataLearner上线了一个编程大模型的能力排行收集页面，一个页面完全展示业界最强的编程大模型的水平。DataLearner大模型编程能力评测对比表主要收集了当前业界主流模型在HumanEval和MBPP的评测结果。

大模型的排名具体情况参考：大模型代码能力评测对比 | 当前主流大模型在代码能力上的表现总榜单 | 数据学习 (DataLearner)

下图是一个截图，展示了部分大模型编程水平的评测结果：

DataLearner大模型编程能力排行榜

最后，给大家提供一下DataLearner大模型排行榜地址：DataLearner编程大模型排行榜：大模型代码能力评测对比 | 当前主流大模型在代码能力上的表现总榜单 | 数据学习 (DataLearner)

如果有问题，欢迎指正~