无需网络，轻松在手机上离线布署本地大模型

一、目前支持的移动端布署方式

1. Termux 安装法

优点： 可以在手机上安装 Termux，然后通过该工具安装 Linux 系统，并下载和运行大模型（如 Ollama、Llama 3和Phi-3等）。

缺点： 安装过程复杂，涉及大量命令行操作，需要在终端中进行设置和使用，使用体验差，适合技术专家或开发者。

具体安装过程参考： https://www.53ai.com/news/qianyanjishu/1795.html

总结： 比较适合有一定技术背景的用户，体验不如其他方法友好。

2. MLC

优点： 支持 GPU 调用，可能提升计算速度，较为推荐的方案。

AppStore可下载，安卓上使用方法参考：在手机上运行大模型（使用MLC-LLM） · Valdanitooooo/knowledge-hub · Discussion #66 · GitHub[1] ，文档地址：Introduction to MLC LLM — mlc-llm 0.1.0 documentation[2]

缺点： 使用旧手机时，容易出现黑屏等问题，可能是由于占用过多 GPU 资源。新手机可能会有所改善。

总结： 适合较新型号的手机，老旧设备可能体验较差。

3. Maid APP 安装法

优点： 通过安装 Maid APP，可以直接使用大模型，安装较为简便。

缺点： 需要科学上网，运行速度非常慢，使用体验差，不推荐使用。

总结： 虽然安装简便，但性能和速度的限制使得这不是一个理想选择。

4. PocketPal

优点： 国外的一个应用，运行方便，速度较快，适合大多数用户使用。开源，这是重点！！！

缺点： 安装包只能在谷歌商店下载，需要特殊网络才能使用，且国内用户访问速度慢

总结： 瑕不掩瑜，PocketPal AI是一款比较好的选择。

接下来，我们将重点就PocketPal AI进行更为详细的介绍。

二、关于PocketPal AI

PocketPal AI 是一款袖珍型的 AI 助手，基于小型语言模型（SLMs）运行，直接在您的手机上运行。它支持 iOS 和 Android，允许您在无需互联网连接的情况下与各种 SLMs 进行互动。

1. 特点

• 离线 AI 助手：直接在设备上运行语言模型，无需互联网连接。
• 模型灵活性：下载并切换多个 SLMs，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。
• 自动卸载/加载：当应用在后台时，自动管理内存，通过卸载模型来节省空间。
• 推理设置：自定义模型参数，如系统提示、温度、BOS 标记和聊天模板。
• 实时性能指标：查看每秒生成的令牌数量和每个令牌的毫秒数。

2、安装

iOS

从 App Store 下载 PocketPal AI： 在 App Store 下载[3]

Android

通过 Google Play 获取 PocketPal AI： 在 Google Play 获取[4]

3、可用模型

PocketPal AI 预配置了一些流行的 SLMs（小型语言模型）：

• Danube 2 和 3
• Phi
• Gemma 2
• Qwen

在使用之前，模型需要先下载。您可以直接从应用程序中下载并使用这些模型，还可以加载任何其他您喜欢的 GGUF 模型！

三、使用 PocketPal AI

有关如何使用 PocketPal AI 的详细指南，请查看 入门指南[5]。

1. 下载模型

• 点击汉堡菜单
• 进入“模型”页面
• 选择您需要的模型并点击下载

2. 加载模型

下载后，点击 加载 按钮将模型加载到内存中。现在，您可以开始与模型对话！

3. 小贴士

在 iOS 设备上，默认启用了 Apple 的 GPU API（Metal）。如果您遇到性能问题，可以尝试禁用它。

自动卸载/加载

为了保持设备运行顺畅，PocketPal AI 可以自动管理内存使用：

• 在模型页面启用“自动卸载/加载”（默认启用）
• 当应用程序在后台时，它会卸载模型
• 当您返回时，模型会重新加载（对于较大的模型，可能需要等待几秒钟）

高级设置

点击箭头图标访问高级 LLM 设置，例如：

•温度•BOS 标记•聊天模板选项•等等

4、最后，让我们开始聊天！

一旦模型加载完成，进入“聊天”页面并开始与加载的模型对话！

生成性能指标也会显示。如果感兴趣，可以通过观察聊天气泡查看实时性能指标：每秒令牌数和每个令牌的毫秒数。

5、复制文本

重要提示：目前，我还没有找到一种简单的方法，可以在保留文本格式的同时，从生成的响应中选择并复制文本，尤其是 Markdown 格式的支持。

在此期间，以下是复制文本的当前选项：

• 段落级复制：长按特定段落以复制其内容。•全部响应复制：点击文本气泡底部的复制图标以复制整个 AI 生成的响应。

我知道这些选项可能不太理想，这也是我在使用其他应用时遇到的困扰。复制文本部分内容的困难，曾是类似 ChatGPT 等聊天应用中的一个特别令人烦恼的问题。

开发者们：PocketPal AI 是使用 React Native 构建的。找到一个平衡文本选择与保留格式（特别是 Markdown 支持）的方法对我来说一直很困难。如果您有相关经验，我非常愿意听听您的意见！

四、源码及安装布署地址

代码及详细的开发安装与布署地址：https://github.com/a-ghorbani/pocketpal-ai

五、最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】