如何在 Kubernetes 上部署 llama3

最新推荐文章于 2024-05-20 10:26:08 发布
最新推荐文章于 2024-05-20 10:26:08 发布
阅读量29 收藏
点赞数
文章标签： kubernetes 容器 云原生
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3MTI2NzkxMA==&mid=2247534841&idx=1&sn=04c9191ec5bb4a3532e4dc536709c2ac&chksm=eb98d98b5d649d05be28cc1696ab41790846c9b25e119bafb951313afb72e75abbac2eca251f&scene=126&sessionid=0
版权

公众号关注 「奇妙的 Linux 世界」

设为「星标」，每天带你玩转 Linux ！

0e093bfcf203da45f2b2600e0143330d.png

Ollama 与 OpenWebUI 介绍

Ollama 是一个运行大模型的工具，可以看成是大模型领域的 Docker，可以下载所需的大模型并暴露 API。

OpenWebUI 是一个大模型的 Web UI 交互工具，支持 Ollama，即调用 Ollama 暴露的 API 实现与大模型交互：

15dc36825599c173c9e8876e07b82372.png

部署方案选型

OpenWebUI 的仓库中自带 Ollawma + OpenWebUI 的部署方式，主要是 kustomize 和 helm 这两种方式，参考 open-webui 仓库的 kubernetes 目录。

但我更推荐直接写 YAML 进行部署，原因如下：

  1. Ollama + OpenWebUI 所需 YAML 相对较少，直接根据需要写 YAML 更直接和灵活。

  2. 不需要研究 OpenWebUI 提供的 kustomize 和 helm 方式的用法。

选择模型

Llama3 目前主要有 8b 和 70b 两个模型，分别对应 80 亿和 700 亿规模的参数模型，CPU 和 GPU 都支持，8b 是小模型，对配置要求不高，一般处于成本考虑，可以直接使用 CPU 运行，而 70b 则是大模型， CPU 肯定吃不消，GPU 的配置低也几乎跑不起来，主要是显存要大才行，经实测，24G 显存跑起来会非常非常慢，32G 的也有点吃力，40G 的相对流畅（比如 Nvdia A100）。

准备 Namespace

准备一个 namespace，用于部署运行 llama3 所需的服务，这里使用 llama namespace：

kubectl create ns llama

部署 Ollama

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: ollama
  namespace: llama
spec:
  serviceName: "ollama"
  replicas: 1
  selector:
    matchLabels:
      app: ollama
  template:
    metadata:
      labels:
        app: ollama
    spec:
      containers:
        - name: ollama
          image: ollama/ollama:latest
          ports:
            - containerPort: 11434
          resources:
            requests:
              cpu: "2000m"
              memory: "2Gi"
              nvidia.com/gpu: "0" # 如果要用 Nvidia GPU，这里声明下 GPU 卡
            limits:
              cpu: "4000m"
              memory: "4Gi"
          volumeMounts:
            - name: ollama-volume
              mountPath: /root/.ollama
          tty: true
  volumeClaimTemplates:
    - metadata:
        name: ollama-volume
      spec:
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 200Gi # 注意要确保磁盘容量能够容纳得下模型的体积
---
apiVersion: v1
kind: Service
metadata:
  name: ollama
  namespace: llama
  labels:
    app: ollama
spec:
  type: ClusterIP
  ports:
    - port: 11434
      protocol: TCP
      targetPort: 11434
  selector:
    app: ollama

部署 OpenWebUI

OpenWebUI 是大模型的 web 界面，支持 llama 系列的大模型，通过 API 与 ollama 通信，官方镜像地址是：ghcr.io/open-webui/open-webui，在国内拉取速度非常慢，如果你的环境有 DockerHub 加速，可以替换成 DockerHub 里长期自动同步的 mirror 镜像：docker.io/imroc/open-webui：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: webui-pvc
  namespace: llama
  labels:
    app: webui
spec:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 2Gi

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: webui
  namespace: llama
spec:
  replicas: 1
  selector:
    matchLabels:
      app: webui
  template:
    metadata:
      labels:
        app: webui
    spec:
      containers:
        - name: webui
          image: imroc/open-webui:main # docker hub 中的 mirror 镜像，长期自动同步，可放心使用
          env:
            - name: OLLAMA_BASE_URL
              value: http://ollama:11434 # ollama 的地址
          tty: true
          ports:
            - containerPort: 8080
          resources:
            requests:
              cpu: "500m"
              memory: "500Mi"
            limits:
              cpu: "1000m"
              memory: "1Gi"
          volumeMounts:
            - name: webui-volume
              mountPath: /app/backend/data
      volumes:
        - name: webui-volume
          persistentVolumeClaim:
            claimName: webui-pvc

---
apiVersion: v1
kind: Service
metadata:
  name: webui
  namespace: llama
  labels:
    app: webui
spec:
  type: ClusterIP
  ports:
    - port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    app: webui

打开 OpenWebUI

你有很多方式可以将 OpenWebUI 暴露给集群外访问，比如 LoadBalancer 类型 Service、Ingress 等，也可以直接用 kubectl port-forward 的方式将 webui 暴露到本地：

kubectl -n llama port-forward service/webui 8080:8080

浏览器打开：http://localhost:8080，首次打开需要创建账号，第一个创建的账号为管理员账号。

0803f3d9b4c17025bb623f38e8083ed2.png

下载模型

方法一：通过 OpenWebUI 下载

进入 OpenWebUI 并登录后，在 设置-模型 里，输出需要下载的 llama3 模型并点击下载按钮（除了基础的模型，还有许多微调的模型，参考 llama3 可用模型列表）。

5396f4e5876930b51d38d77a6d280051.png

接下来就是等待下载完成：

e1269e89f9c7aea7100011211b116e9b.png

注意：如果页面关闭，下载会中断，可重新打开页面并重新输入要下载的模型进行下载，会自动断点续传。

方法二：执行 ollama pull 下载

进入 ollama 的 pod：

kubectl -n llama exec -it ollama-0 bash

执行 ollama pull 下载需要的模型，这里以下载 70b 模型为例：

ollama pull llama3:70b

等待下载完成。

注意：如果 kubectl 的连接中断，下载也会中断，可重新执行命令断点续传。

你也可以使用 nohup ollama pull llama3:70b & 来下载，通过 tail -f nohup.out 查看下载进度，这样可以保证即使 kubectl 中断或退出也会继续下载。

方案三：使用 init container 自动下载模型

如果不想每次在新的地方部署需要手动下载模型，可以修改 Ollama 的部署 YAML，加个 initContainer 来实现自动下载模型(自动检测所需模型是否存在，不存在才自动下载):

initContainers:
  - name: pull
    image: ollama/ollama:latest
    tty: true
    stdin: true
    command:
      - bash
      - -c
      - |
        model="llama3:8b" # 替换需要使用的模型，模型库列表: https://ollama.com/library/llama3
        ollama serve &
        sleep 5 # 等待 ollama server 就绪，就绪后才能执行 ollama cli 工具的命令
        result=`ollama list | grep $model`
        if [ "$result" == "" ]; then
          echo "downloading model $model"
          ollama pull $model
        else
          echo "model $model already been downloaded"
        fi
    volumeMounts:
      - name: ollama-volume
        mountPath: /root/.ollama

开始对话

打开 OpenWebUI 页面，选择模型，然后就可以在对话框中开始对话了。

e9d74b26e2c439481e107ea3158f392f.png

小技巧

GPU 调度策略

对于像 70b 这样的模型，需要较好的 GPU 才能跑起来，如果集群内有多种 GPU 节点，需要加下调度策略，避免分配到较差的 GPU。

比如要调度到显卡型号为 Nvdia Tesla V100  的节点，可以给节点打上 label：

kubectl label node gpu=v100

然后配置下调度策略：

nodeSelector:
        gpu: v100

省钱小妙招

  • 如果使用云厂商托管的 Kubernetes 集群，且不需要大模型高可用，可以购买竞价实例(Spot)，会便宜很多。

  • 如果只在部分时间段使用，可以使用定时伸缩，在不需要的时间段将 Ollama 和 OpenWebUI 的副本数自动缩到 0 以停止计费，比如 使用 KEDA 的 Cron 触发器实现定时伸缩。

常见问题

节点无公网导致模型下载失败

ollama 所在机器需要能够访问公网，因为 ollama 下载模型需要使用公网，否则会下载失败，无法启动，可通过查看 init container 的日志确认：

$ kubectl logs -c pull ollama-0
time=2024-04-26T07:29:45.487Z level=INFO source=images.go:817 msg="total blobs: 5"
time=2024-04-26T07:29:45.487Z level=INFO source=images.go:824 msg="total unused blobs removed: 0"
time=2024-04-26T07:29:45.487Z level=INFO source=routes.go:1143 msg="Listening on [::]:11434 (version 0.1.32)"
time=2024-04-26T07:29:45.488Z level=INFO source=payload.go:28 msg="extracting embedded files" dir=/tmp/ollama188207103/runners
time=2024-04-26T07:29:48.896Z level=INFO source=payload.go:41 msg="Dynamic LLM libraries [cuda_v11 rocm_v60002 cpu cpu_avx cpu_avx2]"
time=2024-04-26T07:29:48.896Z level=INFO source=gpu.go:121 msg="Detecting GPU type"
time=2024-04-26T07:29:48.896Z level=INFO source=gpu.go:268 msg="Searching for GPU management library libcudart.so*"
time=2024-04-26T07:29:48.897Z level=INFO source=gpu.go:314 msg="Discovered GPU libraries: [/tmp/ollama188207103/runners/cuda_v11/libcudart.so.11.0]"
time=2024-04-26T07:29:48.910Z level=INFO source=gpu.go:126 msg="Nvidia GPU detected via cudart"
time=2024-04-26T07:29:48.911Z level=INFO source=cpu_common.go:11 msg="CPU has AVX2"
time=2024-04-26T07:29:49.089Z level=INFO source=gpu.go:202 msg="[cudart] CUDART CUDA Compute Capability detected: 6.1"
[GIN] 2024/04/26 - 07:29:50 | 200 |      45.692µs |       127.0.0.1 | HEAD     "/"
[GIN] 2024/04/26 - 07:29:50 | 200 |     378.364µs |       127.0.0.1 | GET      "/api/tags"
downloading model llama3:70b
[GIN] 2024/04/26 - 07:29:50 | 200 |      15.058µs |       127.0.0.1 | HEAD     "/"
pulling manifest ⠏ time=2024-04-26T07:30:20.512Z level=INFO source=images.go:1147 msg="request failed: Get \"https://registry.ollama.ai/v2/library/llama3/manifests/70b\": dial tcp 172.67.182.229:443: i/o timeout"
[GIN] 2024/04/26 - 07:30:20 | 200 | 30.012673354s |       127.0.0.1 | POST     "/api/pull"
pulling manifest
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/llama3/manifests/70b": dial tcp 172.67.182.229:443: i/o timeout

大模型的生成速度非常慢

70b 是 700 亿参数的大模型，使用 CPU 运行不太现实，使用 GPU 也得显存足够大，实测用 24G 显存的显卡运行速度也非常非常慢，如果没有更好的 GPU，如何提升生成速度呢？

可以使用多张 GPU 卡并行，修改 ollama 的 YAML，在 requests 中声明 GPU 的地方，多声明一些 GPU 算卡：

resources:
  requests:
    nvidia.com/gpu: "4"

这样，在模型跑起来的时候，几张 GPU 算卡可以均摊显存，而不至于跑满：

e8a3661d241e7e4fd62bdd721da09d31.png

参考资料

  • Llama3 可用模型列表: https://ollama.com/library/llama3/tags

  • Open WebUI: https://docs.openwebui.com/

  • Ollama: https://ollama.com/

  • 使用 KEDA 的 Cron 触发器实现定时伸缩: https://imroc.cc/kubernetes/best-practices/autoscaling/keda/cron

本文转载自：「roc云原生」，原文：https://url.hi-linux.com/s6DDW，版权归原作者所有。欢迎投稿，投稿邮箱: editor@hi-linux.com。

10b0be7ca5dc912538fbd6a5ec3cf285.gif

🚀 最近，我们建立了一个技术交流微信群。目前群里已加入了不少行业内的大神，有兴趣的同学可以加入和我们一起交流技术，在 「奇妙的 Linux 世界」 公众号直接回复 「加群」 邀请你入群。

📕 关注『奇妙的 Linux 世界』公众号，带你开启有趣新生活！更多好用好玩的软件资源，可访问 https://666666.dev 免费获取。

9631241e1b0750d43f1dc3975f73b585.png

你可能还喜欢

点击下方图片即可阅读

62094d2f0d3c695c9285ade7730eaa44.jpeg

一款开源、跨设备剪切板同步工具：支持文字、截图和文件

2cdd2ba681095f604f329287f1d17b2c.png
点击上方图片，『美团|饿了么』外卖红包天天免费领

5f7d212838683dd40d86078b2694e749.png

更多有趣的互联网新鲜事，关注「奇妙的互联网」视频号全了解！

运维之美
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Docker中部署Llama大型语言模型
Genio_Wang的博客
03-16 979
你可以从Docker的官方网站（https://www.docker.com/get-started）下载并安装适合你操作系统的Docker版本。在Docker中部署Llama大型语言模型，可以确保模型运行环境的一致性和可移植性，同时也便于管理和扩展。下载模型文件后，你需要一个Dockerfile来描述如何构建和运行包含该模型的Docker镜像。容器启动后，它将自动执行你在Dockerfile中定义的CMD指令，即运行你的Python脚本。构建过程可能需要一些时间，具体取决于你的模型大小和依赖库的数量。
Docker下部署LLAMA 2
08-09
本指南主要介绍如何在docker下部署LLAMA 2，附带命令代码和docker文件的编辑代码
本地部署Llama3教程，断网也能用啦！
2301_81940605的博客
04-24 4336
Llama3 8B效果已经超越GPT-3.5，最为重要的是，Llama3是开源的，我们可以自己部署！
在Windows电脑上快速运行AI大语言模型-Llama3
east4ming的博客
04-20 1252
近期 Meta 发布了最新的 Llama3 模型，并开源了开源代码。Meta Llama 3 现已推出 8B 和 70B 预训练和指令调整版本，可支持广泛的应用程序。并且 Llama 3 在语言细微差别、上下文理解和翻译和对话生成等复杂任务方面表现出色。我们可以在 Windows 上快速运行 Llama3 8B 模型。📝Notes郑重声明: 本文几乎没有任何原创内容, 主要资料都来自于网上, 笔者只是总结自己实际可以运行起来的详细步骤, 供各位读者参考.Llmafile。
欢迎 Llama 3：Meta 的新一代开源大语言模型
Hugging Face
04-19 1497
介绍Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本，现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋，我们也非常高兴地全力支持此次发布，并实现了与 Hugging Face 生态系统的深度集成。Llama 3 提供两个版本：8B 版本适合在消费级 GPU 上高效部署和开发；70B 版本则专为大规模 AI 应用设计。每个...
如何在Windows本地和云端安装LLaMA 2 (ChatGPT)
09-09
3. 在Windows本地安装LLaMA 2 - 步骤1：创建新的Conda环境 - 步骤2：激活新环境 - 步骤3：安装PyTorch - 步骤4：克隆代码库 - 步骤5：切换目录 - 步骤6：安装Python模块 - 步骤7：启动服务器 - 步骤8：访问...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
大模型部署_在本地计算机上推理LLaMA大语言模型_支持Windows+Linux+Mac_优质项目实战
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
Llama3模型+Windows本地运行软件（下载地址）
最新发布
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
k8s笔记 | helm包管理
weixin_41104307的博客
05-19 340
如果是在 arm64下的话，使用 registry.cn-beijing.aliyuncs.com/pylixm/nfs-subdir-external-provisioner:v4.0.0 这个镜像会报错 exec / nfs-subdir-external-provisioner format error 简单来说就是平台不匹配，解决方案就是自己构建一个匹配的镜像包。由于需要提前创建storageClass manage-nfc-storage，在前面的章节中总共有三个文件。
K8S认证|CKA题库+答案| 1. 权限控制RBAC
Dances with Cloud Native
05-15 6746
K8S认证 | CKA题库+答案 | 权限控制RBAC
Kubernetes 之 Pod 之间的亲和性与反亲和性
千度阿三的博客
05-18 333
Pod 反亲和性是与亲和性完全相反的定义，一旦发现它的约束条件匹配，那么这个 Pod 比与匹配 Pod 在不同的上的工作节点上。它主要可以用来保障不是热点区域和不需要高性能响应但很重要的业务不受干扰。
安装k8s的负载均衡器MetalLB
纵歌的博客
05-17 637
安装k8s的负载均衡器MetalLB(新旧版安装不同)
k8s证书续期
weixin_40668374的博客
05-15 202
如果证书即将到期，此处的天数应该是几天，在过期之前进行续期，保证集群的可用。6.再次查看期限，检查服务是否正常。避免出现问题可以回退。5.替换更新后的文件。
kubeadm部署k8s v1.28
Fish_1112的博客
05-19 662
kubeadm部署k8s v1.28
【云原生】Kubeadm部署k8s
AH99999的博客
05-16 845
实验环境以下图片只展示一个，过程都一样 所有节点安装 kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。
K8s 高级调度
go|Python的个人博客
05-16 268
默认情况下，一个Pod在哪个Node节点上运行，是由Scheduler组件采用相应的算法计算出来的，这个过程是不受人工控制的。但是在实际使用中，这并不满足的需求，我们想控制某些Pod到达某些节点上，就要求了解kubernetes对Pod的调度规则，kubernetes提供了四大类调度方式：**自动调度：**运行在哪个节点上完全由Scheduler经过一系列的算法计算得出**定向调度：**NodeName、NodeSelector。
k8s原理概念基础入门
weixin_44976692的博客
05-20 968
Kubernetes（简称 K8s）是一个开源的容器编排平台，用于自动化应用程序的部署、扩展和管理。它最初由 Google 设计，现在由 Cloud Native Computing Foundation (CNCF) 维护。微服务架构是一种将应用程序拆分为多个小而独立服务的方法，这些服务可以独立部署和扩展。分布式键值存储，存储集群的所有数据。Kubernetes 正在快速发展，未来可能会引入更多高级功能和优化。希望本文能帮助你快速了解并掌握 Kubernetes，祝你的 Kubernetes 之旅顺利！
本地部署llama3的配置要求
04-27
Llama3是一个开源的机器学习推理引擎，用于在本地环境中进行模型推理。以下是配置Llama3所需的要求： 1. 硬件要求： - CPU：建议使用具有多个核心和高频率的CPU，以提高推理性能。 - 内存：至少需要8GB的内存，但对于大型模型和数据集，建议使用更多的内存。 - 存储：需要足够的磁盘空间来存储模型和数据。 2. 软件要求： - 操作系统：Llama3支持多种操作系统，包括Linux、Windows和macOS。 - Python：Llama3是用Python编写的，因此需要安装Python环境。建议使用Python 3.6或更高版本。 - 依赖库：Llama3依赖于一些Python库，如NumPy、Pandas等。可以使用pip或conda安装这些库。 3. 模型和数据： - 模型：需要准备好的机器学习模型，可以是预训练的模型或自己训练的模型。模型应该是支持Llama3的模型格式，如ONNX、TensorFlow SavedModel等。 - 数据：如果需要进行推理，需要准备好的输入数据。数据应该与模型的输入要求相匹配。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值