Text-to-SQL小白入门（五）开源最强代码大模型Code Llama

摘要

本文介绍了Code Llama大模型的基本概括，包含了论文的摘要、结果、结论以及核心方法，对于了解和实践Code Llama有一定帮助。

论文概述

上一篇介绍了指令进化大模型WizardLM，留了一个坑，补上Code Llama论文学习，可以作为下游任务的基座模型，比如Text2SQL。目前DB-GPT-Hub分支refactor支持了Code Llama模型微调，我粗糙地跑7b基础模型使用lora方法spider数据集上能达到0.66，大家也可以去试试。

再多说一句题外话，eosphoros-ai组织最新有个新项目Awesome-Text2SQL，收集了Text2SQL+LLM领域的相关综述、基础大模型、微调方法、数据集、实践项目等等，欢迎围观尝试。

基本信息

进入正题，文章很新，开源很强，可以商用。

• 英文标题：Code Llama: Open Foundation Models for Code
• 中文标题：Code Llama：代码领域的开源基础模型
• 发表时间：2023年8月24日 v1
• 作者单位：Meta AI（Facebook）
• 论文链接：https://arxiv.org/abs/2308.12950
• 代码链接：https://github.com/facebookresearch/codellama

论文摘要

总结起来一句话：开源模型代码领域最强，可泛化。

标题也说明了要做基础模型，就像人工智能领域中的CNN一样。

• 发布了Code Llama，基于Llama 2大模型，在开源模型中表现了最先进的性能。
• 提供多种风格来覆盖广泛的应用：

• • 基础模型(Code Llama)
  • Python领域(Code Llama Python)
  • 指令遵循模型(Code Llama instruction)
  • 每个模型具有7B, 13B和34B参数。

• 在几个代码基准测试中，Code Llama在开放模型中达到了最先进的性能。

• • 在HumanEval和MBPP上的得分分别高达53%和55%。
  • Code Llama Python 7B在HumanEval和MBPP上优于Llama 2 70B，并且所有的模型在数据集MultiPL-E上都优于所有其他公开可用的模型。

• 允许在研究和商业使用的许可下使用Code Llama，模型下载地址。

结果

数据集HumanEval 和 MBPP

• GPT-4 在HumanEval数据集上一次生成通过率(pass@1)为67%
• GPT-3.5在HumanEval数据集上一次生成通过率(pass@1)为48.1%