GenieBlue：让大模型在手机上跑起来的多模态解决方案

关键词：大语言模型、多模态、边缘计算、移动端部署

1. 背景痛点

• 移动端部署难题：多模态大模型（MLLMs）在手机等边缘设备上部署时，纯文本能力下降，且主流NPU不支持混合专家（MoE）结构，导致性能受限。
• 现有方案缺陷：增加文本数据或调整模型结构的方法无法同时兼顾多模态能力与硬件兼容性。

2. GenieBlue核心创新

• 结构设计：
  • 基于CogVLM改进，跳过MoE结构，通过“复制+LoRA”模块实现多模态与语言能力解耦。
  • 纯文本任务使用原LLM，多模态任务激活复制块和LoRA参数，避免性能损耗。
• 训练策略：
  • 分阶段训练：预训练固定ViT和LLM，微调仅优化复制块和LoRA参数，降低计算成本。
  • 量化部署：适配iQOO 13智能手机NPU，支持单补丁ViT推理，平衡速度与精度。

3. 实验结果

• 多模态能力：在MLLM基准中准确率接近Qwen2.5-VL-3B，保留BlueLM-V-3B的97%性能。
• 语言能力：在LLM基准中无性能损失，优于Qwen2.5VL-3B（下降2%）。
• 效率表现：令牌输出速度30 token/s，满足日常使用，存储和内存需求略高于原模型。

4. 意义与应用

GenieBlue为移动端多模态应用（如智能助手、图像问答）提供了高效解决方案，推动AI在边缘设备的落地。