K8s本地集群部署FastGPT

已于 2024-06-13 14:44:36 修改
阅读量282 收藏 2
点赞数 8
文章标签： k8s kubernetes
于 2024-06-13 14:38:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lolouis966/article/details/139653770
版权

前言

基于FastGPT官方的docker-compose.yaml文件手搓了一份在k8s环境部署的配置文件。

环境准备

  1. k8s集群（我用的是1.20.6）
  2. 足够的存储和计算资源（ 这里根据自己的需求来）

准备配置文件

pv.yaml
# PersistentVolumes
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pg-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  hostPath:
    path: "/mnt/data/pg"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mongo-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  hostPath:
    path: "/mnt/data/mongo"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  hostPath:
    path: "/mnt/data/mysql"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: oneapi-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  hostPath:
    path: "/mnt/data/oneapi"
pvc.yaml
# PersistentVolumeClaims
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pg-pvc
  namespace: louis-ai
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  volumeName: pg-pv

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mongo-pvc
  namespace: louis-ai
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  volumeName: mongo-pv

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
  namespace: louis-ai
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  volumeName: mysql-pv

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: oneapi-pvc
  namespace: louis-ai
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  volumeName: oneapi-pv
oneapi.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: oneapi
  namespace: louis-ai
spec:
  selector:
    matchLabels:
      app: oneapi
  replicas: 1
  template:
    metadata:
      labels:
        app: oneapi
    spec:
      containers:
      - name: oneapi
        image: ghcr.io/songquanpeng/one-api:latest
        ports:
        - containerPort: 3000
        env:
        - name: SQL_DSN
          value: "root:oneapimmysql@tcp(mysql:3306)/oneapi"
        - name: SESSION_SECRET
          value: "oneapikey"
        - name: MEMORY_CACHE_ENABLED
          value: "true"
        - name: BATCH_UPDATE_ENABLED
          value: "true"
        - name: BATCH_UPDATE_INTERVAL
          value: "10"
        - name: INITIAL_ROOT_TOKEN
          value: "fastgpt"
        volumeMounts:
        - mountPath: /var/lib/oneapi/data
          name: oneapi-pvc
        resources:
          limits:
            cpu: 500m
            memory: 512Mi
          requests:
            cpu: 50m
            memory: 51Mi
      volumes:
      - name: oneapi-pvc
        persistentVolumeClaim:
          claimName: oneapi-pvc

---
apiVersion: v1
kind: Service
metadata:
  name: oneapi
  namespace: louis-ai
spec:
  type: NodePort
  ports:
  - port: 3001
    targetPort: 3000
  selector:
    app: oneapi
mysql.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql
  namespace: louis-ai
spec:
  selector:
    matchLabels:
      app: mysql
  replicas: 1
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - name: mysql
        image: docker.m.daocloud.io/mysql:8.0.36
        ports:
        - containerPort: 3306
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: "oneapimmysql"
        - name: MYSQL_DATABASE
          value: "oneapi"
        volumeMounts:
        - mountPath: /var/lib/mysql
          name: mysql-pvc
        resources:
          limits:
            cpu: 500m
            memory: 512Mi
          requests:
            cpu: 250m
            memory: 512Mi
      volumes:
      - name: mysql-pvc
        persistentVolumeClaim:
          claimName: mysql-pvc

---
apiVersion: v1
kind: Service
metadata:
  name: mysql
  namespace: louis-ai
spec:
  ports:
  - port: 3306
  selector:
    app: mysql
fastgpt.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sandbox
  namespace: louis-ai
spec:
  selector:
    matchLabels:
      app: sandbox
  replicas: 1
  template:
    metadata:
      labels:
        app: sandbox
    spec:
      containers:
      - name: sandbox
        image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.3
        ports:
        - containerPort: 3000
        resources:
          limits:
            cpu: 1000m
            memory: 1024Mi
          requests:
            cpu: 250m
            memory: 512Mi

---
apiVersion: v1
kind: Service
metadata:
  name: sandbox
  namespace: louis-ai
spec:
  ports:
  - port: 3000
  selector:
    app: sandbox

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: fastgpt
  namespace: louis-ai
spec:
  selector:
    matchLabels:
      app: fastgpt
  replicas: 1
  template:
    metadata:
      labels:
        app: fastgpt
    spec:
      containers:
      - name: fastgpt
        image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.3
        ports:
        - containerPort: 3000
        env:
        - name: DEFAULT_ROOT_PSW
          value: "1234"
        - name: OPENAI_BASE_URL
          value: "http://oneapi.louis-ai.svc.cluster.local:3001/v1" #这里是oneapi的集群地址
        - name: CHAT_API_KEY
          value: "sk-"   #oneapi的令牌
        - name: DB_MAX_LINK
          value: "30"
        - name: TOKEN_KEY
          value: "any"
        - name: ROOT_KEY
          value: "root_key"
        - name: FILE_TOKEN_KEY
          value: "filetoken"
        - name: MONGODB_URI
          value: "mongodb://root:123456@mongo:27017/fastgpt?authSource=admin"
        - name: PG_URL
          value: "postgresql://username:password@pg:5432/postgres"
        - name: SANDBOX_URL
          value: "http://sandbox.louis-ai.svc.cluster.local:3000" #这里需要改成集群地址
        volumeMounts:
        - mountPath: /app/data/config.json
          name: config-volume
          subPath: config.json
        resources:
          limits:
            cpu: 1000m
            memory: 1024Mi
          requests:
            cpu: 250m
            memory: 512Mi
      volumes:
      - name: config-volume
        configMap:
          name: fastgpt-config

---
apiVersion: v1
kind: Service
metadata:
  name: fastgpt
  namespace: louis-ai
spec:
  type: NodePort
  ports:
  - port: 3000
  selector:
    app: fastgpt

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: fastgpt-config
  namespace: louis-ai
data:
  config.json: |
    {
      "feConfigs": {
        "lafEnv": "https://laf.dev"
      },
      "systemEnv": {
        "openapiPrefix": "fastgpt",
        "vectorMaxProcess": 15,
        "qaMaxProcess": 15,
        "pgHNSWEfSearch": 100
      },
      "llmModels": [
        {
          "model": "qwen-max",
          "name": "qwen",
          "maxContext": 16000,
          "avatar": "/imgs/model/openai.svg",
          "maxResponse": 4000,
          "quoteMaxToken": 13000,
          "maxTemperature": 1.2,
          "charsPointsPrice": 0,
          "censor": false,
          "vision": false,
          "datasetProcess": true,
          "usedInClassify": true,
          "usedInExtractFields": true,
          "usedInToolCall": true,
          "usedInQueryExtension": true,
          "toolChoice": true,
          "functionCall": true,
          "customCQPrompt": "",
          "customExtractPrompt": "",
          "defaultSystemChatPrompt": "",
          "defaultConfig": {}
        },
        {
          "model": "gpt-4-0125-preview",
          "name": "gpt-4-turbo",
          "avatar": "/imgs/model/openai.svg",
          "maxContext": 125000,
          "maxResponse": 4000,
          "quoteMaxToken": 100000,
          "maxTemperature": 1.2,
          "charsPointsPrice": 0,
          "censor": false,
          "vision": false,
          "datasetProcess": false,
          "usedInClassify": true,
          "usedInExtractFields": true,
          "usedInToolCall": true,
          "usedInQueryExtension": true,
          "toolChoice": true,
          "functionCall": false,
          "customCQPrompt": "",
          "customExtractPrompt": "",
          "defaultSystemChatPrompt": "",
          "defaultConfig": {}
        },
        {
          "model": "gpt-4-vision-preview",
          "name": "gpt-4-vision",
          "avatar": "/imgs/model/openai.svg",
          "maxContext": 128000,
          "maxResponse": 4000,
          "quoteMaxToken": 100000,
          "maxTemperature": 1.2,
          "charsPointsPrice": 0,
          "censor": false,
          "vision": true,
          "datasetProcess": false,
          "usedInClassify": false,
          "usedInExtractFields": false,
          "usedInToolCall": false,
          "usedInQueryExtension": false,
          "toolChoice": true,
          "functionCall": false,
          "customCQPrompt": "",
          "customExtractPrompt": "",
          "defaultSystemChatPrompt": "",
          "defaultConfig": {}
        }
      ],
      "vectorModels":[
        {
          "model": "text-embedding-ada-002",
          "name": "Embedding-2",
          "avatar": "/imgs/model/openai.svg",
          "charsPointsPrice": 0,
          "defaultToken": 512,
          "maxToken": 3000,
          "weight": 100,
          "dbConfig": {},
          "queryConfig": {}
        },
        {
          "model": "text-embedding-v1",
          "name": "Embedding-1",
          "avatar": "/imgs/model/openai.svg",
          "charsPointsPrice": 0,
          "defaultToken": 512,
          "maxToken": 3000,
          "weight": 100,
          "dbConfig": {},
          "queryConfig": {}
        }
      ],
      "reRankModels": [],
      "audioSpeechModels": [
        {
          "model": "tts-1",
          "name": "OpenAI TTS1",
          "charsPointsPrice": 0,
          "voices": [
            {
              "label": "Alloy",
              "value": "alloy",
              "bufferId": "openai-Alloy"
            },
            {
              "label": "Echo",
              "value": "echo",
              "bufferId": "openai-Echo"
            },
            {
              "label": "Fable",
              "value": "fable",
              "bufferId": "openai-Fable"
            },
            {
              "label": "Onyx",
              "value": "onyx",
              "bufferId": "openai-Onyx"
            },
            {
              "label": "Nova",
              "value": "nova",
              "bufferId": "openai-Nova"
            },
            {
              "label": "Shimmer",
              "value": "shimmer",
              "bufferId": "openai-Shimmer"
            }
          ]
        }
      ],
      "whisperModel": {
        "model": "whisper-1",
        "name": "Whisper1",
        "charsPointsPrice": 0
      }
    }
mongo.yaml
apiVersion: v1
kind: Service
metadata:
  name: mongo
  namespace: louis-ai
spec:
  ports:
  - port: 27017
    name: mongo
  clusterIP: None
  selector:
    app: mongo
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mongo
  namespace: louis-ai
spec:
  replicas: 1
  selector:
    matchLabels:
      app: mongo
  template:
    metadata:
      labels:
        app: mongo
    spec:
      containers:
      - name: mongo
        image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 使用 Docker Hub 镜像
        # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 使用阿里云镜像
        # image: mongo:4.4.29 # CPU 不支持 AVX 时使用
        ports:
        - containerPort: 27017
        env:
        - name: MONGO_INITDB_ROOT_USERNAME
          value: "root"
        - name: MONGO_INITDB_ROOT_PASSWORD
          value: "123456"
        volumeMounts:
        - name: mongo-init-scripts
          mountPath: /docker-entrypoint-initdb.d

        resources:
          limits:
            cpu: 1000m
            memory: 1024Mi
          requests:
            cpu: 250m
            memory: 250Mi
        command:
        - bash
        - -c
        - |
          if [ ! -f /data/mongodb.key ]; then
            openssl rand -base64 128 > /data/mongodb.key
            chmod 400 /data/mongodb.key
            chown 999:999 /data/mongodb.key
          fi
          if [ ! -f /data/initReplicaSet.js ]; then
            echo 'const isInited = rs.status().ok === 1
            if(!isInited){
              rs.initiate({
                  _id: "rs0",
                  members: [
                      { _id: 0, host: "mongo:27017" }
                  ]
              })
            }' > /data/initReplicaSet.js
          fi
          exec docker-entrypoint.sh mongod --keyFile /data/mongodb.key --replSet rs0 &
          until mongo -u root -p 123456 --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
            echo "Waiting for MongoDB to start..."
            sleep 2
          done
          mongo -u root -p 123456 --authenticationDatabase admin /data/initReplicaSet.js
          wait $!
      volumes:
      - name: mongo-init-scripts
        emptyDir: {}
      - name: mongo-pvc
        persistentVolumeClaim:
          claimName: mongo-pvc
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: mongo-keyfile
  namespace: louis-ai
data:
  mongodb.key: |
    # 初始值为空，容器启动时将生成密钥文件
pg.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: pg
  namespace: louis-ai
spec:
  replicas: 1
  selector:
    matchLabels:
      app: pg
  template:
    metadata:
      labels:
        app: pg
    spec:
      containers:
      - name: pg
        image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0
        ports:
        - containerPort: 5432
        env:
        - name: POSTGRES_USER
          value: "username"
        - name: POSTGRES_PASSWORD
          value: "password"
        - name: POSTGRES_DB
          value: "postgres"
        volumeMounts:
        - mountPath: /var/lib/postgresql/data
          name: pg-pvc
        resources:
          limits:
            cpu: 1000m
            memory: 1024Mi
          requests:
            cpu: 250m
            memory: 250Mi
      volumes:
      - name: pg-pvc
        persistentVolumeClaim:
          claimName: pg-pvc

---
apiVersion: v1
kind: Service
metadata:
  name: pg
  namespace: louis-ai
spec:
  ports:
  - port: 5432
  selector:
    app: pg

应用配置文件

  1. 将以上所有文件拉入集群

  2. 更改fastgpt的配置文件，填入oneapi，sandbox的集群地址和令牌

  3. 应用所有配置文件

    kubectl apply -f .

  4. 检查集群状态

kubectl get pod -n louis-ai
louis99666
关注
k8s nacos集群部署脚本yaml
10-26
k8s 部署nacos极简配置脚本，简化很多复杂配置方式；按照执行顺序，小白都能操作。 1-nacos-db-config.yaml 2-nacos-headless.yaml 3-naocs-statefulset.yaml 4-nacos-service.yaml 5-nacos-service-ingress.yaml
docker容器化+k8s集群部署教程以及springboot+vue部署示例
04-11
本文介绍VMware虚拟机下centos7操作系统中如何安装云原生 Kubernetes（k8s）集群、k8s可视化界面kuboard，以及如何利用docker容器化将springboot+vue项目在k8s集群中部署运行。
Kubernetes调试终极武器: K8sGPT
残星说梦话
12-28 1337
你好，我是俞凡，在Motorola做过研发，现在在Mavenir做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。这些分析器基于SRE的智慧经验编码，擅长提供高度准确和相关的信息。
K8sGPT 会彻底改变你对 Kubernetes 的认知
一览无遗
02-04 853
Kubernetes 仍然是容器编排的基石。K8sGPT 成为游戏规则的改变者，引入人工智能驱动的功能来简化管理、增强优化并提供有价值的见解。采用 K8sGPT 使组织处于高效、智能和面向未来的 Kubernetes 运营的最前沿。
2024年Linux CentOS 环境下安装JDK的三种方法(2)，2024年最新农民工看完都学会了
2401_83947434的博客
05-03 1149
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
FastGPT部署安装
qq_41464142的博客
03-06 4212
fastgpt，oneapi部署安装
k8s AIOps
神棍之路
06-07 1218
k8sgpt 是一个用于扫描Kubernetes集群、诊断和分级问题的工具。它以简单的英语呈现问题，并将站点可靠性工程（SRE）的经验编码到其分析器中。通过AI丰富问题的解释，k8sgpt帮助提取最相关的信息。它支持与多个AI服务提供商的开箱即用集成，包括OpenAI、Azure、Cohere、Amazon Bedrock、Google Gemini以及本地模型. 这意味着您可以根据自己的需求选择不同的AI服务提供商。k8sgpt内置了如下的分析器：rsAnalyzer。
使用 Sealos 一键部署 Kubernetes 集群
云原生实验室
10-30 616
是一款以 Kubernetes 为内核的，使用户能够简单地使用云。与此同时，Sealos 还提供一套强大的工具，可以便利地管理整个 Kubernetes 集群的生命周期。Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境，还能构建数千节点的生产高可用集群。Sealos 还可以在 Kubernetes 之上，通过集群镜像能力组装各种上层分布式应用，如数据库、消息队列等。
helm安装解决无授权问题
m0_72363694的博客
07-10 588
helm报错，kubesphere安装
2024大语言模型入门指南：从小白到高手(基础篇)
张伟的专栏
07-31 1619
硬件资源篇。
使用docker-compose启动springboot项目,并连接mysql数据库
wangyue123com的专栏
11-24 4675
使用docker-compose启动springboot项目,并连接mysql数据库一、安装docker-compose二、创建一个springboot项目三、配置运行环境四、遇到的问题记录五、docker、docker-compose、docker swarm和k8s的区别 一、安装docker-compose 安装docker-compose前需要先安装docker,并启动docker。 #下载docker-compose脚本 curl -L https://get.daocloud.io/docker
最新XXLJOB K8S 集群部署验证版 YAML文件直接部署成功
06-05
最新XXLJOB K8S 集群部署验证版 YAML文件直接部署成功.
k8s搭建Kubernetes（k8s）集群用到的部署CNI网络插件
02-21
问题场景：由于k8s安装master一直处于NotReady状态查看日志出现 failed to find plugin “flannel” in path [/opt/cni/bin]【CentOS7.9】(ps:不需要积分) 解决办法：下载CNI插件，在此提供amd和arm，其他可访问链接...
Kubernetes(K8S) + Harbor + Ingress 部署 SpringBoot + Vue 前后端分离项目
保持学习
10-28 888
最后，在浏览器上通过访问域名，可以看到 K8S 部署 SpringBoot + Vue.js 项目成功！Ingress 域名解析用的是阿里云的真实域名地址，如果地区是大陆服务器还需要。模式可以完成服务对外提供访问的要求，但是真正企业级场景来说，更多的是使用。主要是用于 K8S 集群中资源隔离的，所以在这里我为项目创建一个命名空间。通过 IDEA 打开后端项目，记得调整一下配置文件，将。节点上，否则无法进行正确的访问，所以还需要修改。具体配置内容如下，注释写的很清楚，不多解释啦！
Kubeadm搭建k8s
YCyjs的博客
10-29 1163
kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录。所有节点上传flannel镜像 flannel.tar 到 /opt 目录，
k8s 查看cpu使用率最高的pod
最新发布
u010674101的专栏
10-31 380
在 Kubernetes 中，可以使用命令查看 Pod 的资源使用情况，从而找到 CPU 使用率最高的 Pod。
K8s核心组件全解析
weixin_46619605的博客
10-31 1185
K8s核心组件全解析。
K8s 容器的定向调度与亲和性
KubeSphere
10-30 1094
K8s 集群节点 CPU 使用率高！内存溢出（OOM）！宕机！导致大量微服务瘫痪怎么办？可能是调度策略没做好，看完这篇文章掌握提高集群稳定性的管理诀窍。Kubernetes（K8s）是一个开源的容器编排工具，而容器调度是其非常重要的特性，所谓的调度是指将容器（Pod）分配到集群中的节点上运行的过程。为了更好地控制容器的调度，K8s 提供了多种调度策略，其中包括定向调度和亲和性策略。在实际的 K8s 集群维护场景中，合理使用这些调度策略，对集群的稳定性至关重要。
从k8s的事件聊聊for循环
运维Linux和python
10-26 762
序言见过的人越多，就越喜欢狗。感觉没有秋天，突然一下就凉凉的，偶尔还下个雨。k8s事件和for循环人人都爱for循环，无论是开发还是运维，经常随便来个for循环来执行一些脚本，例如进行一个测试。foriin`seq1000`;docurl-Ihttp://example.com;donefor循环是最简单的一种调用方式，但是也有巨坑，在一些特别的场景之...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值