能在手机上运行，仅仅0.5B大小的小语言模型MobiLlama

模型介绍

该模型基于LLaMA-7B架构设计，旨在能够在边缘设备上高效运行，无需将数据发送到远程服务器或云端处理。如智能手机、平板电脑、智能手表等。

MobiLlama模型虽然体积小、对资源的需求低，但仍能提供高精度的语言理解和生成能力。

项目还提供了在安卓上运行MobiLlama模型的方法和安装包下载链接。mbzuaiac-my.sharepoint.com/:f:/g/personal…

主要能力

1、高精度的语言理解与生成：即便参数规模相对较小（0.5亿参数），MobiLlama也能高效处理自然语言理解和生成任务，如文本摘要、问答系统、自然语言推理等。

2、轻量级设计：通过优化模型架构和采用参数共享技术，MobiLlama实现了模型大小和计算资源需求的显著减少，使其适合在计算能力有限的设备上运行。

3、资源效率高：MobiLlama在设计时考虑了能效和内存使用效率，使其在执行任务时消耗更少的电力和存储空间，适合长时间运行在移动设备上。

4、适应性强：由于其轻量级和高效的特性，MobiLlama可以轻松集成到各种应用中，从智能助手到语言翻译工具，都能从其快速、精确的处理能力中受益。

5、全透明：MobiLlama项目开源，提供了模型的训练数据、代码和训练过程的详细信息，使其他研究者和开发者可以完全了解模型的工作原理，有助于促进技术的进步和应用的开发。

模型版本

MobiLlama项目提供了不同配置的模型版本，包括0.5B、0.8B、1B及其聊天版本的模型。

0.5B：这个版本的模型有0.5亿参数，是设计中最轻量级的一个，旨在提供较高的效率和速度，同时保持良好的性能，特别适合在资源受限的设备上使用。

0.8B：0.8亿参数的模型在0.5B的基础上增加了参数，以改进模型的性能和理解能力，适合于需要更复杂处理能力的场景。

1B：1亿参数的模型进一步增强了模型的能力，能够处理更复杂的语言理解和生成任务，适用于对性能要求更高的应用。

数据集

项目使用了预处理过的Amber数据集，总计约1.2万亿token，数据来源包括Arxiv、Book、C4、Refined-Web、StarCoder、StackExchange和Wikipedia等，总大小约为8TB。

评估结果

基准测试性能

MobiLlama模型在包括HellaSwag、TruthfulQA、MMLU、ARC_C、CrowsPairs、PIQA、RACE、SIQA、WinoGrande等测试中的性能表现，与其他模型进行了比较。在这些基准测试中，MobiLlama表现出色，尤其是在0.5B和0.8B配置下，展现了其高效处理复杂语言任务的能力。具体的评估结果如下：

MobiLlama (0.5B)：在多项任务中取得了优异的成绩，平均得分达到46.00，突出显示了模型的高效率和准确性。
MobiLlama (0.8B)：进一步提升了性能，平均得分达到46.67，表明了通过增加模型规模可以进一步提升性能。

比较分析

与其他模型相比，如GPT-NEO、TinyStarCoder、Cerebras-GPT等，MobiLlama在相同或更小的参数规模下，能够实现更高的准确度和效率。这些结果凸显了MobiLlama在设计上的优势，即通过参数共享和模型优化，实现了在资源有限的设备上运行高性能模型的目标。

具体性能对比

GPT-NEO (0.15B)：平均得分为40.93。
TinyStarCoder (0.17B)：平均得分为37.86。
Cerebras-GPT (0.26B)：平均得分为40.69。

MobiLlama的性能优于这些模型，展现了其作为小型语言模型的竞争力和潜力。

模型下载：huggingface.co/MBZUAI

GitHub：https://github.com/mbzuai-oryx/MobiLlama

论文：arxiv.org/abs/2402.16840

在线体验：845b645234785da51b.gradio.live