MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

UnknownBody

于 2024-05-09 10:06:52 发布

阅读量138

点赞数

分类专栏： LLM Daily 文章标签：自然语言处理语言模型

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/138597699

版权

LLM Daily 专栏收录该内容

1228 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文探讨了如何优化参数小于10亿的大型语言模型（LLM），以适应移动设备使用。研究发现，模型架构比参数量更重要，提出了MobileLLM模型，通过深度学习和权重共享等技术提高了性能。MobileLLM在多项任务上超越了现有小规模模型，证明了其在有限资源设备上的潜力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》的翻译。

摘要

本文解决了移动设备上对高效大型语言模型（LLM）日益增长的需求，这是由于云成本和延迟问题的增加。我们专注于设计参数少于10亿的高质量LLM，这是移动部署的实用选择。与强调数据和参数量在决定模型质量中的关键作用的普遍观点相反，我们的研究强调了模型架构对十亿级LLM的重要性。利用深度和精简架构，再加上嵌入共享和分组查询注意力机制，我们建立了一个强大的基线网络，称为MobileLLM，与之前的125M/350M最先进的模型相比，其准确率显著提高了2.7%/4.3%。此外，我们提出了一种立即分块权重共享方法，不增加模型大小，只增加边际延迟开销。所得模型表示为MobileLLM-LS，与MobileLLM125M/350M相比，精度进一步提高了0.7%/0.8%。此外，MobileLLM模型系列在聊天基准测试中与之前的十亿级以下模型相比有了显著改进，并在API调用任务中证明了与LLaMA-v2 7B非常接近的正确性，突出了小型模型在常见设备上使用情况下的能力。