一、介绍
- Ollama:部署+运行大语言模型的软件
- LLaMa3:史上最强开源AI大模型 — Meta公司新发布的大语言模型
- Open WebUI:AI用户界面,可通过浏览器访问
二、Docker部署
docker-compose.yml文件如下:
version: '3'
services:
ollama:
container_name: bruce-ollama
image: ollama/ollama
volumes:
- ./runtime/ollama:/root/.ollama
- ./config/models:/data/models
environment:
- TZ=Asia/Shanghai
ports:
- "11434:11434"
networks:
- public
open-webui:
container_name: bruce-open-webui
image: m.daocloud.io/ghcr.io/open-webui/open-webui:main
volumes:
- ./runtime/open-webui:/app/backend/data
ports:
- "3000:8080"
environment:
- TZ=Asia/Shanghai
- 'OLLAMA_BASE_URL=http://ollama:11434'
- 'HF_ENDPOINT=https://hf-mirror.com'
networks:
- public
networks:
public:
Open WebUI原始镜像是ghcr.io/open-webui/open-webui:main,这里使用daocloud镜像加速器,加上m.daocloud.io/前缀即可。
Open WebUI容器指定配置项,访问ollama的链接+HuggingFace的镜像地址
三、下载LLaMa3中文模型+运行
LLaMa3模型对中文支持度有限,在HuggingFace上下载LLaMa3中文模型
选择一个GGUF格式的模型,GGUF格式是llama.cpp团队搞的一种模型存储格式,一个模型就是一个文件,方便下载
q越大说明模型质量越高,同时文件也更大,选择q3,把这个模型文件下载到本地
导入模型
下载到本地的模型文件不能直接导入到Ollama,需要编写一个配置文件:llama3-cn-config.txt
FROM "/data/models/Llama3-8B-Chinese-Chat.q6_k.GGUF"
TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
SYSTEM """"""
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>
进入ollama容器内部,下载的模型+配置文件,挂载在/data/models目录,进入容器内此目录下运行:
ollama create llama3-cn -f ./llama3-cn-config.txt
查看已导入的模型
ollama list
运行模型
ollama run llama3-cn
运行成功之后,就可以在命令行中向大模型提问
四、Web界面
打开http://127.0.0.1:3000/即可,先注册账号,即可登录
使用也很简单,类似于chatgpt的web界面
结束!
q3模型质量有限,可以下载更高质量的模型观测
千里之行始于足下,每天紧握一颗稻草,最后就会长出参天大树。喜欢的朋友可以关注/赞赏一下,你的鼓励将给我莫大的动力!