JetBrains 开源python代码生成专用模型：Mellum-4b-sft-python

《JetBrains Mellum-4b-sft-python 开源模型》

一、模型概述

Mellum-4b-sft-python 是 JetBrains 首个开源大型语言模型的微调版本，专为代码相关任务优化。它在超过 4 万亿个标记上预训练，并且具有 8192 个标记的上下文窗口，涵盖多种编程语言。

二、模型架构与训练

• 架构 ：采用类似 LLaMA 的架构，包含 40 亿参数，使其在云端推理（如通过 vLLM）和本地部署（如使用 llama.cpp 或 Ollama）方面都较为高效。

• 训练方式 ：使用自动混合精度（AMP）与 bf16 精度进行训练，Hugging Face 上的上传版本保留 bf16 格式供公众使用。

三、应用场景

• 主要设计用于集成到专业开发工具中，例如在 IDE 中提供智能代码建议。

• 可用于人工智能驱动的编程助手以及代码理解和生成方面的研究。

• 也适合教育应用和微调实验。

四、局限性

• 可能存在偏见 ：可能反映出公共代码库中存在的偏见，例如生成的代码在风格上可能与开源仓库中的代码相似。

• 安全性问题 ：代码建议不应被假定为安全或没有漏洞。

五、示例用法

• 普通生成示例 ：展示了如何利用该模型进行代码补全，通过加载模型和分词器，对给定的代码示例进行编码并生成新的标记，实现代码的补全与延续。

• 填充中间部分示例 ：提供了另一种场景，即在给定一定代码结构的情况下，通过模型填充代码中间缺失的部分。