最强AI开源模型Llama3本地部署教程

最近开源的llama模型非常火，BX同学在这里向大家演示一下，如何本地部署。
本文章谨代表BX个人思考

Meta公司发布的新一代大语言模型，

本期介绍如何在本地，在自己电脑上利用CPU/GPU部署运行，

---

介绍：

第一步:

用Ollama

下载ollama：
https://ollama.com/

第二步：

下载Docker desk：https://www.docker.com/get-started/

根据提示操作 按部就班 的下载

检查：

第三步：

下载 open-webui框架

• GitHub：https://github.com/open-webui/open-webui
• 在cmd/powershell中

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 

这样就安装完成了

第四步：

在docker中运行这个项目

然后进入：

http://localhost:3000/

第五步：

注册登录后进入界面

然后进入设置去下载模型

进入到模型选择界面

有一个70B和8B和两种情况，根据自己的情况去下载


把下载指令填入下载框，等待下载就行了

最后一步：

选择模型就可以开始对话了

效果还是很不错！

---

感谢大家观看，让我们一起进步