轻松上手！手机上部署Phi3、Llama3最新大模型全攻略！_phi-3-small 开源

最新推荐文章于 2024-08-04 00:45:00 发布

AGI学习社

最新推荐文章于 2024-08-04 00:45:00 发布

阅读量442

点赞数 6

文章标签：智能手机人工智能产品经理 chatgpt 深度学习机器学习

本文链接：https://blog.csdn.net/2401_85773741/article/details/140345391

版权

大模型无疑是此次AI革命的主角，大模型基于Scaling Law（缩放定律）。简单的说，就是数据越多，参数越大，算力越强，模型最终的能力就越强。随着模型参数和预训练数据规模的增加，模型能力与任务效果不断改善，展示出了一些小规模模型所不具备的“涌现能力”。

随着大模型时代的逐步来临，以ChatGPT为代表的前沿大模型技术正逐步在经济、法律、社会等诸多领域展现其重要价值。与此同时，众多AI企业纷纷推出开源大模型，其规模正遵循扩展定律实现指数级增长。

然而，一个不可忽视的趋势是，大模型的体积正在逐渐精简，使得私有化部署成为可能。这一需求显得尤为重要，特别是在对个人隐私保护要求极高的场景中。想象一下，一个能够深入了解你各类数据的AI机器人，在无需联网传输数据的情况下，直接在你的设备上运行并为你提供决策支持，这无疑大大增强了用户的信任。而如果这种AI只存在企业的“云服务器”上，尽管性能更强，但安全性及可靠性就堪忧了。

**本文在此会介绍几个适合私人部署的最新大模型，然后手把手部署到电脑及手机。**不过，丑话说在前，现阶段不要对“本地私有部署的大模型”有过高的期待哈。那我们开始吧！

一、开源大模型

目前备受欢迎的大模型，诸如ChatGPT和Bard，都建立在专有的闭源基础之上， 这无疑限制了它们的使用，并导致技术信息的透明度不足。

然而，开源AI大模型（LLMs）正逐渐崭露头角，它们不仅增强了数据的安全性和隐私保护，还为用户节省了成本，减少了对外部依赖，实现了代码的透明性和模型的个性化定制。这里我重点介绍下Meta推出的Llama 3 和微软的 Phi3 ，这两款算是开源大模型的顶流，是“小而美”的大模型，而且方便部署。

1、Llama 3

Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。

LLaMA是开源模型的顶流，众多国内的大型模型均源于它的构建！ 它通过人类反馈的强化学习（RLHF）进行了微调。它是一种生成文本模型，可以用作聊天机器人，并且可以适应各种自然语言生成任务，包括编程任务。从其分享的基准测试可以看出，Llama 3 400B+ 的实力几乎媲美 Claude 超大杯以及新版 GPT-4 Turbo，虽然仍有一定的差距，但足以证明其在顶尖大模型中占有一席之地。

GitHub项目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微软AI研究院新推出的开源小型语言模型，适用于商业使用，其优势在于体积小、资源需求少。该模型包括Phi-3-Mini、Phi-3-Small和Phi-3-Medium三种规模。Phi-3-Mini仅有3.8B参数，但在关键基准测试中表现出色，与大型模型如Mixtral 8x7B和GPT-3.5相当。更大的Small和Medium版本在扩展数据集的支持下表现更卓越。《Phi-3 技术报告：一个能跑在手机上的大模型》：https://arxiv.org/abs/2404.14219

小结

从基准测试上看，Llama 3 8B和Phi3 3.8B小模型都有较好的效果，它们不仅仅都是规模小，其实优化方法还有一定相似的。

决定大模型性能有三要素：框架，数据和参数，参数既然要固定是小规模的，框架在这么小参数下做MOE也没意义，因此他们主要是在数据这个要素上下功夫，通过提高数据的数量或质量，从而提升小模型的性能表现。这也为后面精简大模型提供了方向！

二、电脑部署的流程

这里首先介绍一个大模型部署的神器：Ollama，它可以支持Llama 3、Mistral、Gemma等大型语言模型的启动并运行。

通过Ollama在电脑上部署大模型，基本只要简单的两小步：1、下载安装Ollama 2、运行大模型（完）

具体以Windows为例，首先到官网或文末获取。下载Ollama后，然后一路确认就安装好了。

官网下载链接 https://github.com/ollama/ollama

安装完Ollama后，然后打开命令行，运行命令【ollama run llama3】，就可以下载并运行llama3大模型了（其他模型的运行命令如上），初次下载模型的会比较慢，下载完就可以愉快地对话了。

Ollama还支持其他功能如，图片等多模态输入、传入提示词调教模型等，具体可以看下文档。

三、手机部署的流程

相比于电脑，手机部署大模型其实意义更大，手机与大家的生活更为密切相关，而且手机上也有大量的个人数据更方便后续的交互。当下大家可能都有好几个闲置手机，如果手机性能不拉跨的话，跑个大模型还是很酷的。我的旧手机是小米8，性能算还行吧~（雷总,请打钱）。

但是手机上部署会麻烦一丢丢，与电脑部署差不多，但需要先在手机上安装配置linux环境，虽然安卓手机的底层是基于linux内核，但要重装个Linux难度可太大了。好在我发现了另外一个神器：Termux，它是一个Android上的终端模拟器，可以在Android设备上运行许多Linux命令和工具。Termux-app可以在F-Droid官网下载安装或文末获取。

官网下载链接：https://github.com/termux/termux-app/releases

安装后打开Termux如下图。（如有要打开多个Linux窗口，左上角右滑点击New session就可以。）

接下来，通过Termux +Ollama就可以在手机上部署大模型了：

第一步，借助Termux，在上面使用proot-distro安装个Linux系统。 （proot-distro允许用户在 Termux 中安装、卸载和运行各种 Linux 发行版，包括 Ubuntu、Debian、Arch Linux 等。这样，用户就可以在他们的 Android 设备上使用完整的 Linux 环境，包括安装和运行 Linux 软件包。）

// 先来安装proot-distro``pkg install proot-distro``   ``//使用proot-distro安装一个debian``proot-distro install debian``   ``// 安装成功后通过login命令就直接进入debian，为发行版启动一个root shell``proot-distro login debian

第二步，同电脑的流程，安装Ollama，下载及运行大模型。

//进入之后再来安装ollama``curl -fsSL https://ollama.com/install.sh | sh``   ``// 安装完毕可以查看ollama版本进行验证，出现版本号之后就可以使用ollama``ollama -v``   ``   ``// 后台开启ollama服务``nohup ollama serve &``   ``//运行大模型（其他模型的命令如下图，可通过ollama list查看模型）` `ollama run phi3

第一次要下载安装软件及运行大模型会比较慢，一小时左右吧。（安装完了，后面再次使用，只要运行上面的login debian系统、Ollama服务、运行大模型后就可以使用了。）

感觉手机上跑代码，其实有种说不出来的趣味。手机上一行一行代码简陋地输入，然后看着屏幕一点点的输出，感觉实在太酷了。有兴趣的同学，可以装个远程软件Tailscale、todesk之类的，同过远程电脑上码代码，就更有味了。（不足就是手机算力跟不上，大模型回复太慢了，也比较耗电。）

四、本地大模型的体验

模型表现： 大模型表现权威的数据可以看一些相关的测评，比如下图。

在这里我只是简单测试了下手机本地部署的大模型（llama3 、Phi3），并谈谈个人的体验。总的来说，llama3各项表现中更为稳定，Phi可能有时会有差错，但是响应速度更快啊，综合感觉Phi更好用些。

响应速度： 受限于本地手机、电脑的性能，电脑如果有GPU可能响应还好点。但手机回复真的慢，等了几分钟就只能回几个字。比较明显的是Phi3 回应的速度会比llama3来的快，而从模型规模上面llama3 8B也差不多是phi3 3.8B的两倍了。

中文能力： 中文肯定是这几个开源模型的弱项，问一些比较不常见的问题，中文说着说着，就开始飚起来英文了。很多中文表达不清，让它们讲个笑话内容也很尬。

但这也是没法避免的，毕竟归到底层原因，高质量的中文数据集远比不上英文，这个数据层面差异后面肯定也是会被不断放大。中文方面的任务，感觉llama内容会比phi3来的好一些。有兴趣还可以试试 llama的中文变种llama3-Chinese

llama3

phi3

代码能力： 看着都有模有样的，但还是可以看出来Phi3有一些语法错误。

llama3

phi3

数学推理： 两个看着都还不错，Phi3感觉更好些。

llama3

phi3

安全性： 两个都有不错的合规意识

llama3

phi3

五、结语

文末简单说两句，虽然现在AI的落地的应用还比较少，但技术的发展需要时间，再者大模型的高昂推理成本限制了其实用性。 然而，有了小模型如Llama 3 和Phi3 ，大模型实用化的道路变得更加清晰。虽然小模型的训练成本较高，但推理成本低，整体上更省钱，特别是在服务大量用户时，高性能的小模型使得AI更容易摆脱成本限制，更有效地应用于各种场景。一个能自己本地部署定制的AI，别提能玩的会有多溜了~

相信后面，通过模型优化、定制AI芯片等带来的算力提升，越多“小而美”的AI大模型不久就会普及到我们生活！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

-END-