MNN 手机本地部署 DeepSeek R1 和多模态大模型，告别服务器繁忙！

微信公众号：老牛同学

公众号标题：MNN 手机本地部署 DeepSeek R1 和多模态大模型，告别服务器繁忙！

公众号链接：MNN 手机本地部署 DeepSeek R1 和多模态大模型，告别服务器繁忙！

在Phi-3大模型发布之际，我们基于Termux应用，在我的小米手机部署了Phi-3模型：文章地址

Termux应用是一个终端模拟器，它允许我们安装 Linux 操作系统，然后在 Linux 操作系统中安装 Ollama，最后基于 Ollama 下载和推理大模型，虽然方法可行，但是存在一些局限：

• 操作步骤繁琐，用户体验较差：安装 Linux 操作系统、启动系统、安装和启动 Ollama 等操作，都需要通过命令行完成，体验较差。
• 资源消耗较大：手机内存有限，Termux 应用、Linux 操作系统、Ollama 框架等都需要消耗资源，推理速度较慢，资源吃紧

DeepSeek R1 很火爆，导致在使用 DeepSeek R1 时，老牛同学经常会遇到“服务器繁忙，请稍后重试。”的问题：

今天老牛同学推荐一款更加先进的应用：MNN Chat，它是由阿里巴巴开源的全功能多模态模型应用。

• 仅需一台手机即可运行： 完全在设备本地运行，确保数据隐私，无需将信息上传至外部服务器。
• CPU 推理优化： 在安卓平台上，MNN-LLM 展现了卓越的 CPU 性能，预填充速度相较于 llama.cpp 提高了 8.6 倍，相较于 fastllm 提升了 20.5 倍，解码速度分别快了 2.3 倍和 8.9 倍。
• 多模态支持： 提供多种任务功能，包括文本生成文本、图像生成文本、音频转文本及文本生成图像。
• 广泛的模型兼容性： 支持多种领先的模型提供商，包括 Qwen、Ge