Docker Compose部署大语言模型LLaMa3+可视化UI界面Open WebUI

一、介绍

• Ollama：部署+运行大语言模型的软件
• LLaMa3：史上最强开源AI大模型 — Meta公司新发布的大语言模型
• Open WebUI：AI用户界面，可通过浏览器访问

二、Docker部署

docker-compose.yml文件如下：

version: '3'

services:
  ollama:
    container_name: bruce-ollama
    image: ollama/ollama
    volumes:
      - ./runtime/ollama:/root/.ollama
      - ./config/models:/data/models
    environment:
      - TZ=Asia/Shanghai
    ports:
      - "11434:11434"
    networks:
      - public

  open-webui:
    container_name: bruce-open-webui
    image: m.daocloud.io/ghcr.io/open-webui/open-webui:main
    volumes:
      - ./runtime/open-webui:/app/backend/data
    ports:
      - "3000:8080"
    environment:
      - TZ=Asia/Shanghai
      - 'OLLAMA_BASE_URL=http://ollama:11434'
      - 'HF_ENDPOINT=https://hf-mirror.com'
    networks:
      - public

networks:
  public:

Open WebUI原始镜像是ghcr.io/open-webui/open-webui:main，这里使用daocloud镜像加速器，加上m.daocloud.io/前缀即可。
Open WebUI容器指定配置项，访问ollama的链接+HuggingFace的镜像地址

三、下载LLaMa3中文模型+运行

LLaMa3模型对中文支持度有限，在HuggingFace上下载LLaMa3中文模型

选择一个GGUF格式的模型，GGUF格式是llama.cpp团队搞的一种模型存储格式，一个模型就是一个文件，方便下载

q越大说明模型质量越高，同时文件也更大，选择q3，把这个模型文件下载到本地
导入模型
下载到本地的模型文件不能直接导入到Ollama，需要编写一个配置文件：llama3-cn-config.txt

FROM "/data/models/Llama3-8B-Chinese-Chat.q6_k.GGUF"

TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM """"""

PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

进入ollama容器内部，下载的模型+配置文件，挂载在/data/models目录，进入容器内此目录下运行：

ollama create llama3-cn -f ./llama3-cn-config.txt

查看已导入的模型

ollama list

运行模型

ollama run llama3-cn

运行成功之后，就可以在命令行中向大模型提问

四、Web界面

打开http://127.0.0.1:3000/即可，先注册账号，即可登录

使用也很简单，类似于chatgpt的web界面

结束！
q3模型质量有限，可以下载更高质量的模型观测

千里之行始于足下，每天紧握一颗稻草，最后就会长出参天大树。喜欢的朋友可以关注/赞赏一下，你的鼓励将给我莫大的动力！