Phi-3 模型手机部署教程（微软发布的可与GPT-3.5媲美的小模型）

如果能在手机上部署大模型的话，感觉很有意义，手机与我们的生活更为密切相关，并且手机上也有大量的个人数据，与大模型交互起来也更加方便。同时，在手机上跑个大模型，还是很酷！

期望能通过本文，和大家一起完成这项很酷且有意义的事情。我用的是小米 10 Pro手机，其配置参数如下：

选择 Phi-3 微软开源模型

受限于手机 CPU 和内存等硬件配置，我们要选择小语言模型（SLM）。其中，阿里开源了Qwen2-0.5B和Qwen2-1.5B两款小尺寸模型，微软了开源Phi-3 Mini（3.8B）和Phi-3 medium（14B）两款尺寸模型。

由于之前我们在笔记本部署了Qwen2-7B大模型，本次我们就在手机部署Phi-3 Mini模型，顺便也体验一下不同科技公司的大模型产品，其效果可以媲美GPT-3.5大模型：

手机配置 Linux 环境（Termux 应用）

小米等安卓手机的基于 Linux 内核的操作系统，但是我们无法像在 Linux 那样执行 Linux 命令，因此我首先得配置一下 Linux 环境。

当前官网的最新稳定版本：v0.118.1 - 2024-06-18 00.05

请根据手机情况，下载对应的 apk 文件。老牛同学下载的 apk 文件：termux-app_v0.118.1+github-debug_universal.apk

apk 安装成功后，打开Termux应用后，默认展示如下，就可以开始输入 Linux 命令了：

手机上安装 Linux 操作系统

首先，我们安装proot-distro系统管理工具，proot-distro可以非常方便在 Termux 中安装、卸载和运行Linux 的发行版本（包括：Ubuntu、Debian、Arch Linux 等）：

友情提示： 在手机中输入以下命令效率比较低，我们可以把命令发到微信，然后一条一条复制粘贴！

pkg install proot-distro

proot-distro 安装成功之后，我们安装Debian操作系统：

proot-distro install debian

最后，登录新安装的Debian操作系统：

proot-distro login debian

登录之后，自动启动了Shell命令行终端：root@localhost:~#

可以执行相关的 Linux 命令了：

通过 Termux 安装 Phi-3 模型

通过上面的操作，我们已经在手机上安装好了Debian操作系统，接下来在Debian操作系统中安装Phi-3 Mini模型。

第一步： 在Debian系统中安装Ollama软件，没错，就是之前在个人电脑部署Llama3、Qwen2等大模型时，用于管理本地大模型的Ollama软件。由于我们在手机上安装了Debian系统，那么和电脑一样，Ollama也可以管理Debian系统本地部署的大模型：

# 安装Ollama软件
curl -fsSL https://ollama.com/install.sh | sh

Ollama安装成功输出信息如下：

第二步： 通过后台启动Ollama服务：nohup ollama serve &

我们用Ollama命令，查看 Ollama 信息，如：

• 查看版本：ollama -v
• 查看本地模型列表：ollama list（目前还没有部署模型，因此结果列表为空）

第三步： 通过Ollama安装并启动Phi-3 Mini模型：ollama run phi3:mini

Phi-3 Mini模型文件总大小为2.4GB左右，因此下载需要一点时间：

到此，Phi-3 Mini模型部署成功，我们可以体验手机上的大模型，比如：请用 100 个汉字解释一下，天空为什么是蓝色的？

总结

相比电脑端，手机的算力弱太多，就算老牛同学用的是最小尺寸的模型（Phi-3 Mini），其推理的速度还是慢得多。其内容的输出速度，比我手机打字都要慢。盯着屏幕，看着模型一个字一个字的输出，感觉也挺有趣 😁

目前 AI 是大热门，各大公司推出的大模型参数一个比一个大，能力一个比一个厉害。但大模型训练和推理成本均比较高昂，在很大程度上限制了其发展，因此大模型 AI 应用相对较少，或者说对我们生活影响还很小，因此其还有很大的发展空间。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓