手机上也能部署大模型？一篇带你直通大模型！

当前AI革命中，大模型发挥关键角色，其理论基础在于Scaling Law。简单来说就是，随着数据、参数和计算能力的提升，模型能力增强，展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型，规模按扩展定律实现指数增长。

然而不可忽视另一趋势，大模型体积正逐渐精简，为私有化部署提供可能性。这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据，直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更强，但安全性和可靠性令人担忧。

本文介绍几个适合私有化部署的最新大模型，并提供部署指导，手把手部署到电脑及手机。

一、开源大模型介绍

目前备受瞩目的大型模型，如ChatGPT和Bard，都是基于专有的闭源技术构建的。这无疑限制了它们的应用范围，同时也使技术信息的透明度变得模糊。

然而，开源AI大型模型（LLMs）正逐渐崭露头角，它们不仅增强了数据的安全性和隐私保护，还为用户节省了成本，降低了对外部依赖，实现了代码的透明性和模型的个性化定制。其中，**Meta推出的Llama 3和微软的Phi3是开源大模型中的佼佼者，被誉为“小而美”的模型，且部署起来极为便捷。**这些开源大模型的出现，让我们看到了AI技术更加开放、透明和灵活的未来。

1、Llama 3

Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。

LLaMA是顶尖的开源模型，众多国内大型模型都基于它构建。经过人类反馈的强化学习（RLHF）微调后，它可以作为聊天机器人，适应多种自然语言生成任务，包括编程。基准测试显示，Llama 3 400B+的实力与Claude超大杯和新版GPT-4 Turbo相近，证明它在顶尖大模型中占据重要地位。

模型链接：https://llama.meta.com/llama-downloads/GitHub项目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微软AI研究院新推出的开源小型语言模型，适用于商业环境，其特点是小巧高效。Phi系列包括Mini、Small和Medium三种规模。尽管Phi-3-Mini只有3.8B参数，但在关键测试中表现出色，与大型模型如Mixtral 8x7B和GPT-3.5相当，更大的版本在扩展数据集下肯定表现更佳。

Phi-3 技术报告：《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219

小结

经过基准测试，Llama 3 8B和Phi3 3.8B小模型均表现出色。尽管它们的规模较小，但它们所采用的优化方法却具有一定的相似性。

对于大型模型的性能表现，关键因素在于框架、数据和参数。鉴于参数规模较小，因此在如此小的参数下使用MOE框架并无实际意义。因此，这些模型主要在数据上投入大量精力，通过提高数据的数量或质量来优化小模型的性能。这为未来精简大型模型提供了重要的方向。

二、电脑部署的流程

首先介绍下，大模型部署利器Ollama，支持Llama 3、Mistral、Gemma等大型语言模型。

部署大模型只需两步：下载并安装Ollama，然后运行大模型。以Windows为例，从官网或文末下载Ollama，一键安装即可。

官网下载链接 https://github.com/ollama/ollama

安装完Ollama后，然后打开命令行，运行命令【ollama run llama3】 ，就可以下载并运行llama3大模型了（其他模型的运行命令如上），初次下载模型的会比较慢，下载完就可以愉快地对话了。

Ollama还支持其他功能如，图片等多模态输入、传入提示词调教模型等，具体可以看下文档。

三、手机部署的流程

与电脑相比，手机部署大模型意义更大，因为手机与生活更紧密，且手机上有大量个人数据，便于后续交互。现在很多人都有闲置手机，如果性能足够，运行大模型很有吸引力。我的旧手机是小米8，性能还可以。

手机上部署麻烦一些，类似于电脑部署，需要安装配置Linux环境。虽然安卓底层基于Linux内核，但重装Linux很难。不过，我发现了一个神器：Termux，可以在Android设备上运行许多Linux命令和工具。你可以从F-Droid官网下载安装Termux。

官网下载链接：https://github.com/termux/termux-app/releases

安装后打开Termux如下图。（如有要打开多个Linux窗口，左上角右滑点击New session就可以。）

要在手机上部署大模型，使用Termux+Ollama就成了。

首先，通过Termux的proot-distro功能，可以方便地安装一个Linux系统，如Ubuntu、Debian或Arch Linux。这样，在Android设备上就能拥有完整的Linux环境，以安装和运行Linux软件包。

第二步，同电脑的流程，安装Ollama，下载及运行大模型。

第一次要下载安装软件及大模型会比较慢，弄个一小时是要的。安装完了，后面都可以直接使用。只要运行login debian系统、Ollama服务、运行大模型后就可以使用了。

在手机上编写代码有种独特的魅力。虽然简陋，但一行行输入代码，看着屏幕上的输出，感觉非常酷。安装远程软件如Tailscale或todesk，用电脑编写代码更有趣。但需要注意，如果算力受限，大模型回复较慢，同时手机也会更耗电。

四、本地大模型的体验

**模型表现：**大模型表现权威的数据可以看一些相关的测评，比如下图。

在此，我对手机本地部署的两个大型模型（llama3和Phi3）进行了简要的测试，并分享了我的个人体验。总体而言，llama3在各项表现中展现出更为稳定的特性，而Phi虽然有时会出现差错，但其响应速度却更胜一筹，使我在综合体验上觉得Phi更为出色。

响应速度，受限于手机或电脑的性能，如果电脑配备了GPU，响应可能会更为流畅。然而，在手机上的回复确实显得有些迟缓，有时甚至需要等待几分钟才能得到几个字的回应。值得注意的是，Phi3的回应速度明显快于llama3。尽管llama3的8B模型规模几乎是Phi3的3.8B模型规模的两倍。

**中文能力方面，**这些开源模型确实存在一定的短板。**当提问一些不常见的问题时，模型在回答过程中可能会突然转向英文。**此外，很多中文表达模糊不清，导致它们讲述的笑话内容也显得尴尬。**这主要是因为高质量的中文数据集远远无法与英文数据集相提并论，这一数据层面的差异在未来很可能会进一步凸显。**在中文任务方面，我觉得llama的表现会比Phi3更为出色。如果你有兴趣，还可以尝试llama的中文变种——llama3-Chinese。

llama3

phi3

代码能力：看着都有模有样的，但还是可以看出来Phi3有一些语法错误。

llama3

phi3

数学推理：看着都还不错，Phi3感觉更好些。

llama3

phi3

安全性：都有不错的合规意识

llama3

phi3

五、结语

尽管当前AI的落地应用尚显稀疏，但技术的成长毕竟需要时间，大型模型的高昂推理成本无疑是其普及的桎梏。

然而，**正是小模型如Llama 3和Phi3的崭露头角，让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高，但其低廉的推理成本却为整体经济带来显著的节省，特别是在为海量用户提供服务时，高性能的小模型更让AI挣脱了成本的束缚，灵活应用于各种场景。想象一下，能够根据自身需求在本地部署定制化的AI，其魅力不言而喻！

展望未来，相信随着模型优化和定制AI芯片等技术带来的算力提升，更多“小而美”的AI大模型将逐渐融入我们的日常生活，让我们感受AI带来的变革！

​

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓