【llama】本地搭建llama大语言模型

一、参照open-webui文档

https://docs.openwebui.com/getting-started/

1、下载docker desktop

访问 https://www.docker.com/products/docker-desktop，选择版本下载

2、下载ollama

访问 https://ollama.com/，点击下载

下载后点击安装程序，自动安装完成，完成后访问 http://127.0.0.1:11434 出现如下界面表示安装成功

3、启动open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

启动成功后在docker中能看见如下界面：

访问 http://localhost:3000/ ，耐心等待加载
首次登陆需要注册一个管理员账号和密码，注册后点登陆

4、选择模型下载

点击左下角的设置
输入框中输入要下载的模型，点击下载，可下载的模型在https://ollama.com/library里获取
开始下载

选择下载好的模型，开始聊天即可