MNN LLM：让你手机本地也能跑 DeepSeek R1 还能支持多模态

阿里巴巴淘系技术团队官网博客

于 2025-04-21 16:02:37 发布

阅读量967

点赞数 24

文章标签： mnn 人工智能深度学习机器学习

本文链接：https://blog.csdn.net/Taobaojishu/article/details/147406958

版权

在DeepSeek R1服务器不稳定令人困扰的背景下，MNN LLM应运而生。这是一款开源工具，支持本地部署、移动端运行以及多模态处理（如文生图、语音输入等）。通过模型量化与硬件优化，MNN LLM显著提升了推理速度与稳定性，同时解决了下载困难的问题。无论是Android、iOS还是桌面端用户，都可以轻松体验大模型的强大功能，真正实现“自己动手，丰衣足食”。

简介

你有没有因为 DeepSeek R1 的服务器不稳定而抓狂过？忙活半天就等到一句“服务器繁忙，请稍候重试”？如果你也深陷这个泥潭，不妨试试我们开源的 MNN LLM（https://github.com/alibaba/MNN/blob/master/project/android/apps/MnnLlmApp/README_CN.md，github 链接，欢迎 Star），并且它有以下特点：

本地部署：无需依赖远程服务器；
一台手机就能跑：愉快运行DeepSeek R1 Qwen 蒸馏 7B 模型；
多模态支持：文生图、语音输入全都可以。

关键是，再也不用担心服务器忙不过来了，真·自己动手丰衣足食！

先来看看效果吧：

▐ Android

点击文章底部链接下载安装包

▐ iOS

▐ 桌面端

▐ MNN LLM 有啥不一样

此前开源社区已经存在 pocketpal、maid 等开源产品，那么 MNN 做了哪些优化?

推理速度优化

针对移动端设备， MNN 通过模型量化、混合存储和硬件特定优化等创新措施，解决高内存消耗和计算成本等挑战。MNN CPU Decode 有20-50%优势，尤其是在 Prefill 阶段快于其他方案1倍以上；GPU 性能在小模型上快于其他方案30%以上，较大模型上与MLC-LLM持平。但相比MLC-LLM，MNN-LLM的GPU输出更稳定（不容易crash）。

超给力的多模态

不只聊文字，还能图片输入、语音输入、文生图……
大家都知道 Diffusion 模型在手机上跑起来可很吃力，MNN 把这方面也优化了，端上生成更快、更省内存，比 OnnxRuntime 方案速度快三倍！

下载超省心

国内用户通过 pocketpal等基于huggingface下载的客户端，经常无法访问，即使偶尔可以连接上，可能下载半天发现下载失败了，就需要删掉重新下载：

MNN LLM App 针对网络问题优化了：

Modelscope 下载的支持，速度飞起，不再苦等 Hugging Face 半天失败。
自带断点续传功能，下载失败了也能断点续上，不用重头再来。

Android & iOS 还有桌面版，怎么用起来

是不是已经迫不及待的想要自己尝试一下，那就让继续来看看如何使用吧：

▐ Android

Android用户可以直接在 github（链接在文章底部）上下载，也可自行编译定制功能：

git clone https://github.com/alibaba/MNN.gitcd project/androidmkdir build_64../build_64.sh "-DMNN_LOW_MEMORY=true  -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=ON"find . -name "*.so" -exec cp {} ../apps/MnnLlmApp/app/src/main/jniLibs/arm64-v8a/  cd ../apps/MnnLlmApp/./gradlew installDebug

▐ iOS

iOS 用户当前需要自行编译，后续 TestFlight 包审核后会在Github文档中更新：

1. 下载仓库代码：

git clone https://github.com/alibaba/MNN.git

2. 编译 MNN.framework:

cd MNN/sh package_scripts/ios/buildiOS.sh "-DMNN_ARM82=true -DMNN_LOW_MEMORY=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_BUILD_LLM=true -DMNN_METAL=ON-DMNN_BUILD_DIFFUSION=ON-DMNN_BUILD_OPENCV=ON-DMNN_IMGCODECS=ON-DMNN_OPENCL=OFF-DMNN_SEP_BUILD=OFF-DMNN_SUPPORT_TRANSFORMER_FUSE=ON"

拷贝 framework 到 iOS 项目中

3. 移动 framework

mv MNN-iOS-CPU-GPU/Static/MNN.framework /apps/iOS/MNNLLMChat/MNN.framework

4. 确保 Link Binary With Libraried 中包含 MNN.framework 和其他三个 Framework。

如果没有包含，可以手动添加:

5. 修改 iOS 签名并编译项目

cd /apps/iOS/MNNLLMChatopen MNNLLMiOS.xcodeproj

在 Xcode 项目属性中 Signing & Capabilities > Team 输入自己的账号和Bundle Identifier

▐ 桌面端(Windows、Mac、Linux)

mac 用户可以点击文章底部链接下载。下载完成后解压然后执行：

sudo xattr -rd com.apple.quarantine ./mlschmod +x ./mls

就可以执行。

其他用户可以按照下列文档编译。桌面端提供了命令行以及rest api

编译

make buildcd buildcmake ../ -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DBUILD_MLS=truemake -j16

x86架构额外加 MNN_AVX512 的宏：

make buildcd buildcmake ../ -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DBUILD_MLS=true -DMNN_AVX512=truemake -j16

Mac 推荐增加 MNN_METAL的宏

make buildcd buildcmake ../ -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_METAL=ONmake -j16

编译完成后，可以看到 mls 产物，通过 mls 命令可以执行下载、benchmark 测试、启动rest服务等功能。