DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence

本文是LLM系列文章，针对《DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence》的翻译。

摘要

大型语言模型的快速发展使软件开发中的代码智能发生了革命性的变化。然而，闭源模型的优势限制了广泛的研究和开发。为了解决这一问题，我们推出了DeepSeek编码器系列，这是一系列大小从1.3B到33B的开源代码模型，在2万亿token上从头开始训练。这些模型是在高质量的项目级代码语料库上预训练的，并使用具有16K窗口的填空任务来增强代码生成和填充。我们的广泛评估表明，DeepSeek Coder不仅在多个基准测试的开源代码模型中实现了最先进的性能，而且超过了Codex和GPT-3.5等现有的闭源代码模型。此外，DeepSeek编码器模型受许可，允许研究和不受限制的商业使用。

1 引言

2 数据收集

3 训练策略

4 实验结果

5 从通用LLM的持续预训练

6 结论

在本技术报告中，我们介绍了一系列用于编码的专用大型语言模型（LLM），称为DeepSeek编码器，有三种不同的级别：1.3B、6.7B和33B参数。这些模型是在精心策划的项目级代码语料库上进行独特训练的，利用“填空”预训练目标来增强代码填充能力。一个显著的进步是将模型的上下文窗口扩展到16384个token，从而大大提高了它们处理大量代码生成任务的有效性。我们的评估显示ÿ