无需网络，轻松在手机上离线布署本地大模型

最新推荐文章于 2025-03-25 10:11:57 发布

LLM大模型

最新推荐文章于 2025-03-25 10:11:57 发布

阅读量4k

点赞数 11

文章标签：人工智能 RAG 程序员 LLM 自然语言处理本地大模型私有化部署

本文链接：https://blog.csdn.net/DEVELOPERAA/article/details/144064617

版权

目前支持的移动端布署方式

1. Termux 安装法

优点： 可以在手机上安装 Termux，然后通过该工具安装 Linux 系统，并下载和运行大模型（如 Ollama、Llama 3和Phi-3等）。

缺点： 安装过程复杂，涉及大量命令行操作，需要在终端中进行设置和使用，使用体验差，适合技术专家或开发者。

具体安装过程参考： https://www.53ai.com/news/qianyanjishu/1795.html

总结： 比较适合有一定技术背景的用户，体验不如其他方法友好。

2. MLC

优点： 支持 GPU 调用，可能提升计算速度，较为推荐的方案。

AppStore可下载，安卓上使用方法参考：在手机上运行大模型（使用MLC-LLM） · Valdanitooooo/knowledge-hub · Discussion #66 · GitHub[1] ，文档地址：Introduction to MLC LLM — mlc-llm 0.1.0 documentation[2]

缺点： 使用旧手机时，容易出现黑屏等问题，可能是由于占用过多 GPU 资源。新手机可能会有所改善。

总结： 适合较新型号的手机，老旧设备可能体验较差。

3. Maid APP 安装法

优点： 通过安装 Maid APP，可以直接使用大模型，安装较为简便。

缺点： 需要科学上网，运行速度非常慢，使用体验差，不推荐使用。

总结： 虽然安装简便，但性能和速度的限制使得这不是一个理想选择。

4. PocketPal

优点： 国外的一个应用，运行方便，速度较快，适合大多数用户使用。开源，这是重点！！！

缺点： 安装包只能在谷歌商店下载，需要特殊网络才能使用，且国内用户访问速度慢

总结： 瑕不掩瑜，PocketPal AI是一款比较好的选择。

接下来，我们将重点就PocketPal AI进行更为详细的介绍。

关于PocketPal AI 📱🚀

PocketPal AI 是一款袖珍型的 AI 助手，基于小型语言模型（SLMs）运行，直接在您的手机上运行。它支持 iOS 和 Android，允许您在无需互联网连接的情况下与各种 SLMs 进行互动。

特点

•离线 AI 助手：直接在设备上运行语言模型，无需互联网连接。•模型灵活性：下载并切换多个 SLMs，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。• 自动卸载/加载：当应用在后台时，自动管理内存，通过卸载模型来节省空间。 •推理设置：自定义模型参数，如系统提示、温度、BOS 标记和聊天模板。 • 实时性能指标：查看每秒生成的令牌数量和每个令牌的毫秒数。

安装

iOS

从 App Store 下载 PocketPal AI： 在 App Store 下载[3]

Android

通过 Google Play 获取 PocketPal AI： 在 Google Play 获取[4]

可用模型

PocketPal AI 预配置了一些流行的 SLMs（小型语言模型）：

•Danube 2 和 3•Phi•Gemma 2•Qwen

在使用之前，模型需要先下载。您可以直接从应用程序中下载并使用这些模型，还可以加载任何其他您喜欢的 GGUF 模型！

使用 PocketPal AI

有关如何使用 PocketPal AI 的详细指南，请查看入门指南[5]。

下载模型

•点击汉堡菜单•进入“模型”页面•选择您需要的模型并点击下载

加载模型

下载后，点击加载按钮将模型加载到内存中。现在，您可以开始与模型对话！

小贴士

在 iOS 设备上，默认启用了 Apple 的 GPU API（Metal）。如果您遇到性能问题，可以尝试禁用它。

自动卸载/加载

为了保持设备运行顺畅，PocketPal AI 可以自动管理内存使用：

•在模型页面启用“自动卸载/加载”（默认启用）•当应用程序在后台时，它会卸载模型•当您返回时，模型会重新加载（对于较大的模型，可能需要等待几秒钟）

高级设置

点击箭头图标访问高级 LLM 设置，例如：

•温度•BOS 标记•聊天模板选项•等等

最后，让我们开始聊天！

一旦模型加载完成，进入“聊天”页面并开始与加载的模型对话！

生成性能指标也会显示。如果感兴趣，可以通过观察聊天气泡查看实时性能指标：每秒令牌数和每个令牌的毫秒数。

复制文本

重要提示：目前，我还没有找到一种简单的方法，可以在保留文本格式的同时，从生成的响应中选择并复制文本，尤其是 Markdown 格式的支持。

在此期间，以下是复制文本的当前选项：

•段落级复制：长按特定段落以复制其内容。•全部响应复制：点击文本气泡底部的复制图标以复制整个 AI 生成的响应。

我知道这些选项可能不太理想，这也是我在使用其他应用时遇到的困扰。复制文本部分内容的困难，曾是类似 ChatGPT 等聊天应用中的一个特别令人烦恼的问题。

开发者们：PocketPal AI 是使用 React Native 构建的。找到一个平衡文本选择与保留格式（特别是 Markdown 支持）的方法对我来说一直很困难。如果您有相关经验，我非常愿意听听您的意见！

源码及安装布署地址

代码及详细的开发安装与布署地址：https://github.com/a-ghorbani/pocketpal-ai

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望