- Hugging Face发布
- 完全开源的小型语言模型
- 参数量从 135M 到 1.7B 不等
- 可以在手机上流畅运行
- 打败了99%的对手
- 官方介绍:https://huggingface.co/blog/smollm
- 文章原始链接:https://blog.i68.ltd/archives/smollm
Hugging Face 发布了一系列完全开源的小型语言模型 SmolLM,参数量从 135M 到 1.7B 不等,最重要的是,它可以在你的手机上流畅运行,性能炸裂碾压一众竞品。
SmolLM 到底有多强? 它直接对标了市面上最强的几款小型模型,包括微软的 Phi 系列、阿里巴巴的 Qwen2(小于 2B 参数)和 Meta 的 MobileLLM,并在多项测试中取得了全面胜利。
模型架构:从小巧玲珑到性能怪兽
SmolLM 系列包含三种规模的模型,每种都针对不同的设备和应用场景进行了优化:
135M 和 360M 参数模型: 专为内存受限的设备设计,例如智能手机和小型嵌入式系统。它们采用了类似 MobileLLM 的架构,并利用分组查询注意力(GQA)机制来提高效率。
1.7B 参数模型: 面向高端智能手机、普通笔记本电脑等性能更强的设备,采用了更传统的架构设计,以追求更强大的性能。
值得一提的是, 所有 SmolLM 模型都拥有 2048 个 token 的上下文长度,并且可以通过长上下文微调进一步扩展,这意味着它们能够处理更长、更复杂的任务。
优质数据集:SmolLM 的秘密武器
俗话说“巧妇难为无米之炊”,强大的模型离不开优质的训练数据集。SmolLM 正是得益于精心策划的 SmolLM-Corpus 数据集,才得以在众多模型中脱颖而出。
Cosmopedia v2: 这是一个由 Hugging Face 利用 llama3-70B-Instruct 和 Qwen1.5-72B-Chat 等强大模型生成的合成数据集,涵盖了 34,000 多个主题,包含了超过 3000 万本合成教科书、博客文章和故事。
FineWeb-Edu: 从著名的 FineWeb 数据集中筛选出的精华部分,包含 1.3T 个 token 的教育网页数据,经过了严格的质量控制,确保了数据的可靠性和教育价值。
Stack-Edu-Python: 从 The Stack 数据集中精选的 50 万个 Python 代码样本,这些样本都经过了 Llama3 的注释和分类,并筛选出评分最高的样本,保证了模型在代码生成任务上的出色表现。