亲手部署带UI界面的N个本地大模型，不再需要交token了！

今天我们和大家一起亲手在自己的电脑侧部署一个开源大模型：llama3。部署完成后，向大模型问问题便不用联网，不用向大服务商交token值了。

Llama3模型是由Meta开发的，使用了优化的transformer架构，Llama3:8b具有80亿个参数，Llama3:70b则有700亿个参数。今天以Llama3:8b为例和大家一起进行本地部署，开始“卷起来”：

安装Ollama

访问Ollama的官方网站：https://ollama.com/download，然后根据您的操作系统选择相应的下载选项，这里以windows为例。

下载exe的安装程序后，自行安装完成后，有一个步骤是改变大语言模型存放的位置，将模型放置到空间足够的盘上，以免占用过多的C盘空间。找到你“系统属性”中的“环境变量”，添加“系统变量”：

变量名：OLLAMA_MODELS

变量值：你自己指定的存放模型的位置

运行开源大模型llama3

进入ollama，点击“Models”，选择你希望部署的模型，例如llama3，然后选择模型规模，例如llama3:8b，最后点击复制按钮，直接复制语句到粘贴板：ollama run llama3

打开windows终端，右键粘贴，回车运行该语句，等待安装成功。安装成功后即部署成功了。此时，你可以在windows终端上和llama3模型进行交互。

除了进行问答，你可以输入“/?”查看可用的命令，例如用“/bye”退出和模型的互动，回到windows终端，输入其他命令。

回到终端后，你可以输入：ollama -h 的命令查看ollama可用的命令：

恭喜你成功部署了一个本地的大模型，此时你若打开任务管理器，查看内存使用情况，不出意外的话肯定使用超过4GB了，因为我们刚部署的llama3:8b在运行后会占用4.7GB。

若你部署的是llama3:70b（700亿参数规模）则会占用40GB以上，那你至少需要64GB的内存，或者你显卡的显存容量超过40GB。我做过测试：70b的模型相比于8b的模型，它的回答会慢很多，但也“聪明”不少。

部署WebUI

一起安装一个UI界面，方便我们和大模型进行交流。

https://docs.openwebui.com/

https://www.docker.com/products/docker-desktop/

Open WebUI 为 Ollama 提供Web界面，它能支持文件和图片上传以及语音输入等。

**首先要先安装docker，**这是一种开源的容器化技术，用于开发、部署和运行应用程序，开发人员可以使用它构建、部署、运行、更新和管理容器。“容器”则是标准化的可执行组件，它将应用程序源代码与在任何环境中运行该代码所需的操作系统库和依赖项合并在一起。

Docker使用Linux内核的 cgroup，namespace，以及 OverlayFS等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术。目前Docker是最流行的Linux容器解决方案，它提供了简单易用的容器使用接口，提供测试和构建环境，容器的部署更加灵活，可以随时启动或关闭，比虚拟机技术更轻便、快捷。传统虚拟机是虚拟出一套硬件后运行完整操作系统，再运行应用进程。而容器直接运行于宿主内核，容器内没有自己的内核，也没有进行硬件虚拟，因此更轻量。

安装过程中会提示用户安装WSL2，需要同意后自动安装，若完成后启动后显示engine have stopped，需要在终端中手动安装：wsl --install 。成功安装后启动docker会显示上面的界面。

在终端执行代码，该代码可以从Open WebUI的官网中复制执行命令，根据自己的环境条件进行复制对应的命令：

打开终端后，粘贴上面命令，我有NAVID GPU，复制的是含GPU的命令，等待下载完成，时间可能比较长，耐心等待完成：

完成安装后，可以通过浏览器访问3000端口打开界面，http://127.0.0.1:3000/。或者在docker中点击打开。首次访问需要注册一个账号，填写邮箱和密码，登录到界面后与open webUI界面进行对话。

该对话与你使用其他GPT对话一样，只不过模型是部署在本地，无需联网也可以进行，缺点是模型参数小，虽然回复快，但不够“聪明”；模型参数大，虽然更“聪明”，但占用计算机资源多，回复慢。需要大家根据自己的情况进行取舍。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓