MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

大家好，我是蚝油菜花，今天跟大家分享一下 MNN-LLM App 这个基于 MNN-LLM 框架开发的手机 AI 助手应用。在此之前，如果你想了解什么是 MNN，可以阅读《MNN：阿里开源的轻量级深度学习推理框架，支持在移动端等多种终端上运行，兼容主流的模型格式》。

🚀 快速阅读

MNN-LLM App 是阿里巴巴推出的开源 Android 应用，专注于在手机上离线运行大语言模型（LLM）。

1. 核心功能：支持多模态交互，包括文本生成文本、图像生成文本、音频转文本及文本生成图像。
2. 技术原理：针对移动端 CPU 推理进行了深度优化，预填充和解码速度显著提升。

MNN-LLM App 是什么

MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用，支持各类大语言模型（LLM）在手机上离线运行。该应用具备多模态功能，能实现文本生成文本、图像生成文本、音频转文本以及文本生成图像等多种任务。应用对 CPU 推理进行了深度优化，确保高效的本地运行，预填充速度和解码速度均显著优于同类产品。

此外，MNN-LLM App 支持多种主流模型，如 Qwen、Gemma、Llama 等，用户可以根据需要选择不同的模型进行任务处理。

MNN-LLM App 的主要功能

• 多模态交互：支持多种输入输出方式，包括文本生成文本、图像生成文本、音频转文本以及文本生成图像（基于扩散模型）。用户可以通过文字、图片或语音输入，获取相应的生成结果。
• 模型选择与切换：内置多种主流大语言模型（LLM），如 Qwen、Gemma、Llama、Baichuan 等，用户可以根据需求选择不同的模型。
• 离线运行：所有功能在本地设备上运行，无需联网，确保数据隐私和安全性。
• 性能优化：针对移动端 CPU 推理进行了深度优化，预填充和解码速度显著提升，相比同类应用具有更快的响应速度。
• 本地存储：支持将生成的内容保存到本地，方便用户随时查看和使用。

MNN-LLM App 的技术原理

• 移动端 CPU 优化：通过深度优化移动端 CPU 推理，预填充和解码速度显著提升，确保高效的本地运行。
• 多模态支持：集成多种模态处理能力，支持文本、图像和音频的输入输出，满足不同场景的需求。
• 模型轻量化：采用模型压缩和量化技术，减少模型体积和内存占用，提升运行效率。

如何运行 MNN-LLM App

1. 下载应用

你可以从发布页面下载最新版本的 MNN-LLM 应用，或选择自行编译。

• 发布页面：https://meta.alicdn.com/data/mnn/mnn_llm_app_debug_0_2_0.apk

2. 安装应用

安装后，你可以在应用中浏览所有支持的模型，下载并与其交互。此外，你还可以在侧边栏中查看和回顾之前的聊天记录。

3. 自行编译

如果你希望自行编译 MNN-LLM 应用，可以按照以下步骤操作：

4. 克隆仓库

git clone https://github.com/alibaba/MNN.git

5. 构建库

cd project/android
mkdir build_64
../build_64.sh "-DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=ON"

6. 复制库文件

find . -name "*.so" -exec cp {} ../apps/MnnLlmApp/app/src/main/jniLibs/arm64-v8a/ \;

7. 构建并安装应用

cd ../apps/MnnLlmApp/
./gradlew installDebug

资源

• GitHub 仓库：https://github.com/alibaba/MNN
• MNN 官方文档：https://mnn-docs.readthedocs.io/en/latest/intro/about.html

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦