速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

最新推荐文章于 2024-08-20 21:52:32 发布

机器学习社区

最新推荐文章于 2024-08-20 21:52:32 发布

阅读量666

点赞数 17

分类专栏：大模型文章标签： llama 人工智能算法深度学习大模型扩散模型

本文链接：https://blog.csdn.net/m0_59596990/article/details/139323855

版权

196 篇文章 109 订阅

订阅专栏

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

汇总合集：

《AIGC 面试宝典》(2024版) 发布！

对标 OpenAI 的法国 AI 独角兽 Mistral AI 有了新动作：首个代码大模型 Codestral 诞生了。

作为一个专为代码生成任务设计的开放式生成 AI 模型，Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码交互。Codestral 精通代码和英语，因而可为软件开发人员设计高级 AI 应用。

Codestral 的参数规模为 22B，遵循新的 Mistral AI Non-Production License，可以用于研究和测试目的，但禁止商用。

目前，该模型可以在 HuggingFace 上下载。

Mistral AI 联合创始人、首席科学家 Guillaume Lample 表示，Codestral 可以很轻松集成到 VS Code 插件中。

有用户将 Codestral 与 GPT-4o 进行了比较，Codestral 速度直接秒了 GPT-4o。

精通 80 + 编程语言

Codestral 在包含了 80 + 种编程语言的多样化数据集上训练，包括 Python、Java、C、C++、JavaScript、Bash 等流行编程语言。此外也在 Swift 和 Fortran 等编程语言上表现良好。

因此，广泛的语言基础确保 Codestral 可以在各种编码环境和项目中为开发人员提供帮助。

Codestral 可以胜任编写代码、编写测试并使用中间填充（fill-in-the-middle）机制补全任何代码部分，为开发人员节省时间和精力。同时使用 Codestral，还有助于提高开发人员的编码水平，降低错误和 bug 风险。

代码生成性能新标准

作为一个 22B 参数的模型，Codestral 与以往的代码大模型相比，在代码生成性能和延迟空间方面树立了新标准。

从下图 1 可以看到，Codestral 的上下文窗口长度为 32k，竞品 CodeLlama 70B 为 4k、DeepSeek Coder 33B 为 16k、Llama 3 70B 为 8k。结果显示，在代码生成远程评估基准 RepoBench 上，Codestral 的表现优于其他模型。

Mistral AI 还将 Codestral 与现有的特定于代码的模型进行了比较，后者需要较高的硬件需求。

在 Python 上的表现。研究者使用 HumanEval pass@1、MBPP sanitised pass@1 基准来评估 Codestral 的 Python 代码生成能力；除此以外，研究者还用到了 CruxEval、RepoBench EM 基准评估。

在 SQL 上的表现。为了评估 Codestral 在 SQL 中的性能，研究者使用了 Spider 基准测试。

在其他编程语言上的表现。研究者还在其他六种编程语言（包括 C++、bash、Java、PHP、Typescript 和 C#）中对 Codestral 进行了评估，并计算了这些评估的平均值。

FIM 基准。研究者还评估了 Codestral 在代码片段中间有缺失的情况下补全代码的能力，主要是在 Python、JavaScript 和 Java 上进行实验，结果显示，Codestral 补全的代码，用户可以立即运行。

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗面试与技术交流群，想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2040，备注：技术交流+CSDN

关注

专栏目录