华为云kubernetes部署deepseek r1、ollama和open-webui（已踩过坑）

nangonghen

已于 2025-04-16 23:53:26 修改

阅读量4.2k

点赞数 48

分类专栏：大模型LLM kubernetes 文章标签： kubernetes 容器 deepseek ollama open webui

于 2025-02-04 20:53:23 首次发布

本文链接：https://blog.csdn.net/nangonghen/article/details/145443881

版权

kubernetes 同时被 2 个专栏收录

50 篇文章

订阅专栏

大模型LLM

15 篇文章

订阅专栏

1 概述

ollama是一个管理大模型的一个中间层，通过它你可以下载并管理deepseek R1、llama3等大模型。
open-webui是一个web界面（界面设计受到chatgpt启发），可以集成ollama API、 OpenAI的 API。
用常见的web应用架构来类比，open-webui是前端，ollama是后端，大模型是数据库。
在这里插入图片描述

文本介绍华为云kubernetes部署open-webui最新版、ollama最新版、DeepSeek-R1-Distill-Qwen-1.5B（因为小模型可以只使用CPU，节省本文测试的成本）。

2 云资源环境准备

2.1 购买文件存储SFS Turbo

在这里插入图片描述

2.2 购买kubernetes集群

在这里插入图片描述

2.3 在k8s中创建storageclass对象

参数everest.io/share-access-to是VPC的ID。
参数everest.io/share-export-location是sfs turbo实例的共享路径:自定义子目录，sfs turbo实例的共享路径是在sfs实例的详细页查询，自定义子目录可以是任意路径。
参数everest.io/volume-id是sfs turbo实例的ID。
只需要修改以上三个参数。

在本文，storageclass的名称叫做sfsturbo-subpath-sc。

apiVersion: storage.k8s.io/v1
allowVolumeExpansion: true
kind: StorageClass
metadata:
  name: sfsturbo-subpath-sc
mountOptions:
- lock
parameters:
  csi.storage.k8s.io/csi-driver-name: sfsturbo.csi.everest.io
  csi.storage.k8s.io/fstype: nfs
  everest.io/archive-on-delete: "true"
  everest.io/share-access-to: xxxxxxxxxxxxxxxxxx   # VPC ID
  everest.io/share-expand-type: bandwidth
  everest.io/share-export-location: xxxxx.sfsturbo.internal:/mydir   # sfs turbo实例的共享路径:自定义子目录
  everest.io/share-source: sfs-turbo
  everest.io/share-volume-type: STANDARD
  everest.io/volume-as: subpath
  everest.io/volume-id: xxxxxxxxxxxxx   # sfs turbo实例的ID
provisioner: everest-csi-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate

在这里插入图片描述

2.4 购买用于暴露容器的负载均衡器ELB

在这里插入图片描述

3 部署

3.1 创建namespace

ollama和open webui都部署在此namespace。

kubectl create ns ollama

3.1 部署ollama

statefulset使用刚刚创建的存储类sfsturbo-subpath-sc。
确保PVC的磁盘容量能存储下所有待下载的大模型。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: ollama
  namespace: ollama
spec:
  serviceName: "ollama"
  replicas: 1
  selector:
    matchLabels:
      app: ollama
  template:
    metadata:
      labels:
        app: ollama
    spec:
      containers:
        - name: ollama
          image: swr.cn-south-1.myhuaweicloud.com/migrator/ollama:0.5.7
          ports:
            - containerPort: 11434
          resources:
            requests:
              cpu: "1000m"
              memory: "2Gi"
              # nvidia.com/gpu: "4"  # 如果要用英伟达GPU，请声明下GPU卡的数量
            limits:
              cpu: "4000m"
              memory: "4Gi"
          volumeMounts:
            - name: ollama-volume
              mountPath: /root/.ollama
          tty: true
  volumeClaimTemplates:
    - metadata:
        name: ollama-volume
      spec:
        storageClassName: sfsturbo-subpath-sc
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 200Gi  # 确保磁盘容量能存储下所有待下载的大模型
---
apiVersion: v1
kind: Service
metadata:
  name: ollama
  namespace: ollama
  labels:
    app: ollama
spec:
  type: ClusterIP
  ports:
    - port: 11434
      protocol: TCP
      targetPort: 11434
  selector:
    app: ollama

在这里插入图片描述

3.1 部署open webui（重点）

deployment挂载一个固定的PVC，PVC使用刚刚创建的存储类sfsturbo-subpath-sc。
OLLAMA_BASE_URL环境变量是ollama的地址。
无法连接huggingface.co：
由于在国内环境是无法连接huggingface.co，最终导致open webui的界面是一片空白（应用日志报错：MaxRetryError("HTTPSConnectionPool(host=‘huggingface.co’, port=443)），因此需要增加环境变量HF_ENDPOINT=https://hf-mirror.com。
无法连接openai：
由于不使用openai，因此将环境变量OPENAI_API_BASE_URL和OPENAI_API_KEY都设置成None，否则open webui在国内环境是无法连接openai，最终导致open webui的界面是一片空白（应用日志报错：Connection error: Cannot connect to host api.openai.com:443）。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: webui-pvc
  namespace: ollama
  labels:
    app: webui
spec:
  storageClassName: sfsturbo-subpath-sc
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 2Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: webui
  namespace: ollama
spec:
  replicas: 1
  selector:
    matchLabels:
      app: webui
  template:
    metadata:
      labels:
        app: webui
    spec:
      containers:
        - name: webui
          image: swr.cn-south-1.myhuaweicloud.com/migrator/open-webui:main
          env:
            - name: OLLAMA_BASE_URL             # 这是ollama的地址
              value: http://ollama:11434            
            - name: HF_ENDPOINT                 # 国内环境无法连接huggingface.co
              value: https://hf-mirror.com
            - name: OPENAI_API_KEY
              value: None
            - name: OPENAI_API_BASE_URL
              value: None
          tty: true
          ports:
            - containerPort: 8080
          resources:
            requests:
              cpu: "500m"
              memory: "500Mi"
            limits:
              cpu: "1000m"
              memory: "1Gi"
          volumeMounts:
            - name: webui-volume
              mountPath: /app/backend/data
      volumes:
        - name: webui-volume
          persistentVolumeClaim:
            claimName: webui-pvc
---
apiVersion: v1
kind: Service
metadata:
  name: webui
  namespace: ollama
  labels:
    app: webui
spec:
  type: ClusterIP
  ports:
    - port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    app: webui

在这里插入图片描述
接着为open webui容器添加ingress路由以在公网暴露：

4 下载模型

进入ollama容器：

kubectl exec -it ollama-0 -n ollama bash

在容器内执行ollama pull命令下载大模型DeepSeek-R1-Distill-Qwen-1.5B。

nohup ollama pull deepseek-r1:1.5b &
tail -f nohup.out

有哪些deepseek模型可以下载，请去https://ollama.com/library/deepseek-r1地址里搜索。

5 与大模型对话

在浏览器地址输入负载均衡器ELB的公网IP，打开网页后需要先设置open webui的管理员账号密码，登录成功后即可选择刚刚下载的deepseek模型来聊天。
在这里插入图片描述

6 小结

文本介绍使用华为云kubernetes部署open-webui最新版、ollama最新版、DeepSeek-R1-Distill-Qwen-1.5B。在实际过程中，花费时间最多的是open-webui，因为它默认去访问在国内无法访问的两个外国地址：huggingface.co和api.openai.com，而访问这些地址最终又导致界面变成空白。