BigCode组织推出11亿参数的SantaCoder语言模型，专用于Python、Java和JavaScript的代码生成和补全。尽管参数量小于某些大型模型，但其表现更优。为保护用户隐私，他们在训练前处理敏感信息，并提供DatasetSearch和「AmIinTheStack?」工具确保合规使用。开发者可在Huggingface上试用SantaCoder。
BigCode 是一个开放的科学合作组织，致力于开发大型语言模型。近日他们开源了一个名为 SantaCoder 的语言模型，该模型拥有 11 亿个参数，可以用于 Python、Java 和 JavaScript 这几种编程语言的代码生成和补全建议。
根据官方提供的信息，训练 SantaCoder 的基础是 The Stack（v1.1）数据集，SantaCoder 虽然规模相对较小，只有 11 亿个参数，在参数的绝对数量上低于 InCoder（67 亿）或 CodeGen-multi（27 亿），但 SantaCoder 的表现则是要远好于这些大型多语言模型。不过也正是参数远远不及 GPT-3 等参数超过千亿级别的超大型语言模型，SantaCoder 适用的编程语言范围也比较有限，仅支持 Python、Java 和 JavaScript 三种语言。
为了照顾用户隐私和保证训练质量，在训练模型之前，BigCode 注释了 400 个样本，并建立和不断完善 RegEx 规则，以便在训练前从数据集的代码中删除诸如电子邮件地址、密钥和 IP 地址等敏感信息。
为了让开发者可以放心使用 SantaCoder 生成的代码，BigCode 推出了 Dataset Search 搜索工具。通过这个工具，开发
最低0.47元/天 解锁文章
3405
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
