Code LLM：代码生成大语言模型

引言

9月，开源创新大会（GOSIM 2023）将在上海举行。其中在23-24日的 GOSIM AI工作坊AI论坛中，来自Hugging Face的专家将介绍他们在代码生成大语言模型（Code LLM）领域所做的相关工作，其中包括他们领导的Big Code组织以及StarCoder代码生成大语言模型。本文简要扫描Code LLM领域最近的发展，也为参会做好前期准备。

图：Hugging Face在GOSIM 2023 AI Workshop中关于Code LLM的两个讲座的日程和内容

Code LLM概述

与人工智能共同合作编程一直是程序员的梦想。人工智能可以：（1）根据代码生成文档，或者（2）根据注释生成代码；此外，它还能够（3）提供针对已知问题的成熟解决方案以及功能和算法的实现；（4）实时辅助编码，从而加速开发进程；以及（5）帮助发现Bug或优化代码，提高代码质量等。

 Code LLM是一类专门用于生成代码的大型语言模型。尽管通用的大语言模型，如GPT3.5、GPT-4和Bar