编码大模型系列：Meta创新的“代码编译优化”的LLM

鲁班号导读正式上线。移步“鲁班秘笈”，查阅更多内容。

大型语言模型 (LLM) 已在各种软件工程和编码任务中展现出卓越的能力。然而，它们在代码和编译器优化领域的应用仍未得到充分探索。训练LLM需要大量资源，需要大量的 GPU时间和大量的数据收集。Meta语言模型编译器 (LLM Compiler)，这是一套专为代码优化任务设计的强大、公开可用的预训练模型。

LLM Compiler建立在Code Llama的基础上，增强了对编译器中间表示 (IR)、汇编语言和优化技术的理解。该模型已在546B的LVM-IR和汇编代码的庞大语料库上进行了训练，并经过了指令微调。

LLM Compiler是根据定制的商业许可发布的，允许广泛重用。除了7B和 13B的规模，还有该模型的微调版本，展示了其在优化代码大小和从 x86_64和ARM汇编反编译回LLVM-IR的增强功能。

Code Llama

2024年1月29日发布代码Llama 70B是一个可以使用文本提示生成代码的大型语言模型。Code Llama是最先进的代码任务公开可用LLMs，可以使得当前开发人员的工作流程更快、更高效，并降低学习编码的门槛。Code Llama可以被用来作业以及教学。

Code Llama是Llama 2的代码专用版本，它是通过在特定的代码数据集进一步训练Llama 2而得到。它可以从代码和自然语言提示生成代码和关于代码的自然语言，例如，“写一个斐波那契数列的函数”。它还可用于代码的补全和调试，支持当今使用的许多最流行的语言，包括Python、C++、Java、PHP、Typescript （Javascript）、C#和Bash。

Code Llama提供多达100,000 个上下文Token。所有的模型都基于16,000个Token序列进行训练，在多达100,000个Token输入中显示出明显的改进。

Meta还微调Code Llama的另外两个变体：Code Llama-Python和Code Llama-Instruc