Phi-3 模型手机部署教程(微软发布的可与GPT-3.5媲美的小模型)

前面几篇博文,老牛同学和大家一起在个人电脑部署了Qwen2GLM4Llama3ChatTTSStable Diffusion等 LLM 大模型,也通过 API 和 WebUI 的方式完成了体验。

但是这些大模型因为部署在个人电脑本地,不能够随时携带。如果能在手机上部署大模型的话,老牛同学感觉很有意义,手机与我们的生活更为密切相关,并且手机上也有大量的个人数据,与大模型交互起来也更加方便。同时,在手机上跑个大模型,还是很酷!

老牛同学期望能通过本文,和大家一起完成这项很酷且有意义的事情。老牛同学用的是小米 10 Pro手机,其配置参数如下:

老牛同学手机配置

选择 Phi-3 微软开源模型

受限于手机 CPU 和内存等硬件配置,我们要选择小语言模型(SLM)。其中,阿里开源了Qwen2-0.5BQwen2-1.5B两款小尺寸模型,微软了开源Phi-3 Mini3.8B)和Phi-3 medium14B)两款尺寸模型。

由于之前我们在笔记本部署了Qwen2-7B大模型,本次我们就在手机部署Phi-3 Mini模型,顺便也体验一下不同科技公司的大模型产品,其效果可以媲美GPT-3.5大模型:

Phi-3性能评测报告

Qwen2-7B本地部署:Qwen2 阿里最强开源大模型(Qwen2-7B)本地部署、API 调用和 WebUI 对话机器人

手机配置 Linux 环境(Termux 应用)

小米等安卓手机的基于 Linux 内核的操作系统,但是我们无法像在 Linux 那样执行 Linux 命令,因此我首先得配置一下 Linux 环境。

Termux是一个 Android 的

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值