香橙派4和树莓派4B构建K8S集群实践之八: TiDB

已于 2024-02-02 10:10:43 修改
阅读量1k 收藏 2
点赞数 1
分类专栏： K8s 技术笔记 文章标签： kubernetes tidb 容器
于 2023-07-10 18:02:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bennybi/article/details/131631315
版权

目录

1. 说明

2. 准备工作

3. 安装

3.1 参考Tidb官方 v1.5安装说明 

3.2 准备存储类

3.3 创建crd

3.4 执行operator

3.5 创建cluster/dashboard/monitor容器组

3.6 设置访问入口(Ingress & Port)

4. 装好后的容器状况

5. 遇到的问题

6. 参考

1. 说明

挂载目录存储目录存储类备注
/mnt/tidb/ssd /data0/tidb/ssdssd-storage给 TiKV 使用
/mnt/tidb/sharedssd/data0/tidb/sharedssdshared-ssd-storage给 PD 使用
/mnt/tidb/monitoring/data0/tidb/monitoringmonitoring-storage给监控数据使用
/mnt/tidb/backup/data0/tidb/backupbackup-storage给 TiDB Binlog 和备份数据使用
......

2. 准备工作

从 Releases · pingcap/tidb-operator · GitHub 拿下需要的文件清单：

说明来源备注
local-volume-provisioner.yaml本地存储对象https://raw.githubusercontent.com/pingcap/tidb-operator/master/examples/local-pv/local-volume-provisioner.yaml修改对应路径
crd.yamlhttps://raw.githubusercontent.com/pingcap/tidb-operator/master/manifests/crd.yaml
tidb-cluster.yamlhttps://raw.githubusercontent.com/pingcap/tidb-operator/master/examples/basic/tidb-cluster.yaml修改对应Stroage Class
tidb-dashboard.yamlhttps://raw.githubusercontent.com/pingcap/tidb-operator/master/examples/basic/tidb-dashboard.yaml
tidb-monitor.yamlhttps://raw.githubusercontent.com/pingcap/tidb-operator/master/examples/basic/tidb-monitor.yaml
tidb-ng-monitor.yaml访问 TiDB Dashboard | PingCAP 文档中心

3. 安装

3.1 参考Tidb官方 v1.5安装说明 

在标准 Kubernetes 上部署 TiDB 集群 | PingCAP 文档中心介绍如何在标准 Kubernetes 集群上通过 TiDB Operator 部署 TiDB 集群。icon-default.png?t=N7T8https://docs.pingcap.com/zh/tidb-in-kubernetes/v1.5/deploy-on-general-kubernetes

3.2 准备存储类

local-volume-provisioner.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: "monitoring-storage"
provisioner: "kubernetes.io/no-provisioner"
volumeBindingMode: "WaitForFirstConsumer"
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: "ssd-storage"
provisioner: "kubernetes.io/no-provisioner"
volumeBindingMode: "WaitForFirstConsumer"
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: "shared-ssd-storage"
provisioner: "kubernetes.io/no-provisioner"
volumeBindingMode: "WaitForFirstConsumer"
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: "backup-storage"
provisioner: "kubernetes.io/no-provisioner"
volumeBindingMode: "WaitForFirstConsumer"
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: local-provisioner-config
  namespace: kube-system
data:
  setPVOwnerRef: "true"
  nodeLabelsForPV: |
    - kubernetes.io/hostname
  storageClassMap: |
    ssd-storage:
      hostDir: /mnt/tidb/ssd
      mountDir: /mnt/tidb/ssd
    shared-ssd-storage:
      hostDir: /mnt/tidb/sharedssd
      mountDir: /mnt/tidb/sharedssd
    monitoring-storage:
      hostDir: /mnt/tidb/monitoring
      mountDir: /mnt/tidb/monitoring
    backup-storage:
      hostDir: /mnt/tidb/backup
      mountDir: /mnt/tidb/backup
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: local-volume-provisioner
  namespace: kube-system
  labels:
    app: local-volume-provisioner
spec:
  selector:
    matchLabels:
      app: local-volume-provisioner
  template:
    metadata:
      labels:
        app: local-volume-provisioner
    spec:
      serviceAccountName: local-storage-admin
      containers:
        #- image: "quay.io/external_storage/local-volume-provisioner:v2.3.4"
        - image: "quay.io/external_storage/local-volume-provisioner:v2.5.0"
          name: provisioner
          securityContext:
            privileged: true
          env:
          - name: MY_NODE_NAME
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: MY_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: JOB_CONTAINER_IMAGE
            #value: "quay.io/external_storage/local-volume-provisioner:v2.3.4"
            value: "quay.io/external_storage/local-volume-provisioner:v2.5.0"
          resources:
            requests:
              cpu: 100m
              memory: 100Mi
            limits:
              cpu: 100m
              memory: 100Mi
          volumeMounts:
            - mountPath: /etc/provisioner/config
              name: provisioner-config
              readOnly: true
            - mountPath: /mnt/tidb/ssd
              name: local-ssd
              mountPropagation: "HostToContainer"
            - mountPath: /mnt/tidb/sharedssd
              name: local-sharedssd
              mountPropagation: "HostToContainer"
            - mountPath: /mnt/tidb/backup
              name: local-backup
              mountPropagation: "HostToContainer"
            - mountPath: /mnt/tidb/monitoring
              name: local-monitoring
              mountPropagation: "HostToContainer"            
      volumes:
        - name: provisioner-config
          configMap:
            name: local-provisioner-config
        - name: local-ssd
          hostPath:
            path: /mnt/tidb/ssd
        - name: local-sharedssd
          hostPath:
            path: /mnt/tidb/sharedssd
        - name: local-backup
          hostPath:
            path: /mnt/tidb/backup
        - name: local-monitoring
          hostPath:
            path: /mnt/tidb/monitoring
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: local-storage-admin
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: local-storage-provisioner-pv-binding
  namespace: kube-system
subjects:
- kind: ServiceAccount
  name: local-storage-admin
  namespace: kube-system
roleRef:
  kind: ClusterRole
  name: system:persistent-volume-provisioner
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: local-storage-provisioner-node-clusterrole
  namespace: kube-system
rules:
- apiGroups: [""]
  resources: ["nodes"]
  verbs: ["get"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: local-storage-provisioner-node-binding
  namespace: kube-system
subjects:
- kind: ServiceAccount
  name: local-storage-admin
  namespace: kube-system
roleRef:
  kind: ClusterRole
  name: local-storage-provisioner-node-clusterrole
  apiGroup: rbac.authorization.k8s.io

kubectl apply -f /k8s_apps/tidb/1.5.0-beta.1/local-volume-provisioner.yaml

为PV准备挂载点，在目标存储服务器执行脚本:

for i in $(seq 1 5); do
  mkdir -p /data0/tidb/ssd/vol${i}
  mkdir -p /mnt/tidb/ssd/vol${i}
  mount --bind /data0/tidb/ssd/vol${i} /mnt/tidb/ssd/vol${i}
done

for i in $(seq 1 5); do
  mkdir -p /data0/tidb/sharedssd/vol${i}
  mkdir -p /mnt/tidb/sharedssd/vol${i}
  mount --bind /data0/tidb/sharedssd/vol${i} /mnt/tidb/sharedssd/vol${i}
done

for i in $(seq 1 5); do
  mkdir -p /data0/tidb/monitoring/vol${i}
  mkdir -p /mnt/tidb/monitoring/vol${i}
  mount --bind /data0/tidb/monitoring/vol${i} /mnt/tidb/monitoring/vol${i}
done

 可在KubeSphere看到可用的PVs，等用了SC的Pods起来后就可以赋予绑定，不然这些pod会报错。

 

3.3 创建crd

kubectl create -f /k8s_apps/tidb/1.5.0-beta.1/crd.yaml

3.4 执行operator

kubectl create namespace tidb-admin

helm install --namespace tidb-admin tidb-operator pingcap/tidb-operator --version v1.5.0-beta.1
kubectl get pods --namespace tidb-admin -l app.kubernetes.io/instance=tidb-operator

3.5 创建cluster/dashboard/monitor容器组

kubectl create namespace tidb-cluster
kubectl -n tidb-cluster apply -f /k8s_apps/tidb/1.5.0-beta.1/tidb-cluster.yaml
kubectl -n tidb-cluster apply -f /k8s_apps/tidb/1.5.0-beta.1/tidb-dashboard.yaml
kubectl -n tidb-cluster apply -f /k8s_apps/tidb/1.5.0-beta.1/tidb-monitor.yaml
kubectl -n tidb-cluster apply -f /k8s_apps/tidb/1.5.0-beta.1/tidb-ng-monitor.yaml

3.6 设置访问入口(Ingress & Port)

编辑客户机hosts

192.168.0.103   tidb-01.k8s-t2.com
# db连接访问4000端口

192.168.0.103   tidb-pd.k8s-t2.com
# 管理后台, /dashboard 访问 TiDB Dashboard 页面，默认用户名为 root，密码为空

192.168.0.103   tidb-grafana.k8s-t2.com
# 访问 TiDB 的 Grafana 界面，默认用户名和密码都为 admin

192.168.0.103   tidb-prometheus.k8s-t2.com
# 访问 TiDB 的 Prometheus 管理界面

ingress.yaml

# Ingress
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: tidb-pd
  namespace: tidb-cluster
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/affinity: cookie
    nginx.ingress.kubernetes.io/session-cookie-name: stickounet
    nginx.ingress.kubernetes.io/session-cookie-expires: "172800"
    nginx.ingress.kubernetes.io/session-cookie-max-age: "172800"
spec:
  rules:
    - host: tidb-pd.k8s-t2.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service:
              name: basic-pd
              port:
                number: 2379
  ingressClassName: nginx
 
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: tidb-grafana
  namespace: tidb-cluster
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/affinity: cookie
    nginx.ingress.kubernetes.io/session-cookie-name: stickounet
    nginx.ingress.kubernetes.io/session-cookie-expires: "172800"
    nginx.ingress.kubernetes.io/session-cookie-max-age: "172800"
spec:
  rules:
    - host: tidb-grafana.k8s-t2.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service:
              name: basic-grafana
              port:
                number: 3000
  ingressClassName: nginx
   
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: tidb-prometheus
  namespace: tidb-cluster
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/affinity: cookie
    nginx.ingress.kubernetes.io/session-cookie-name: stickounet
    nginx.ingress.kubernetes.io/session-cookie-expires: "172800"
    nginx.ingress.kubernetes.io/session-cookie-max-age: "172800"
spec:
  rules:
    - host: tidb-prometheus.k8s-t2.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service:
              name: basic-prometheus
              port:
                number: 9090
  ingressClassName: nginx
  
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: tidb-db01
  namespace: tidb-cluster
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/affinity: cookie
    nginx.ingress.kubernetes.io/session-cookie-name: stickounet
    nginx.ingress.kubernetes.io/session-cookie-expires: "172800"
    nginx.ingress.kubernetes.io/session-cookie-max-age: "172800"
spec:
  rules:
    - host: tidb-01.k8s-t2.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service:
              name: basic-tidb
              port:
                number: 4000
  ingressClassName: nginx

 用域名访问数据库4000端口，需做些端口开放措施（见: 香橙派4和树莓派4B构建K8S集群实践之五：端口公开访问配置_bennybi的博客-CSDN博客）

4. 装好后的容器状况

 至此完成。

5. 遇到的问题

local-volume-provisioner:v2.3.4 没有for arm体系的版本, 拉取时报错

解决办法:  编辑local-volume-provisioner.yaml, 版本修改为image: "quay.io/external_storage/local-volume-provisioner:v2.5.0"

没有正确配置PV挂载点，pd,kv pods起不来

解决办法：参考上面配置存储一节 

用tidb-initializer.yaml初始化失败, Init: Error

原因：所含的 image: tnir/mysqlclient 只有amd64体系而没有arm64，导致初始化脚本调用失败，结论：暂不能用。

6. 参考

- 在标准 Kubernetes 上部署 TiDB 集群 | PingCAP 文档中心

- 在 ARM64 机器上部署 TiDB 集群 | PingCAP 文档中心

- k8s Tidb实践-部署篇_TiDB 社区干货传送门的博客-CSDN博客 

- local-volume-provisioner使用 - 简书

- https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/blob/master/docs/operations.md#sharing-a-disk-filesystem-by-multiple-filesystem-pvs 

bennybi
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
推荐系统[九]项目技术细节讲解z4：向量检索技术工程上实践，曝光去重实践以及检索引擎该如何选择：支撑亿级索引、5毫秒级的检索[elasticsearch、milvus]
丨汀、的博客
03-09 332
博文介绍了几种主流ANN近似算法，实际应用上，也同样会遇到很多工程上的挑战从单机性能这个角度，资源限制的主要是 CPU + 内存。不同的ANN算法，在索引构建和查询的时间复杂度各不相同，但基本上符合 “召回率越高，qps越低”。单机内存资源上限也制约着整体向量的规模，目前常规的服务器大部分都是 128G/256G左右的内存。举个例子，1亿个256维度的向量，整体的存储大小为 1^9 * 256 * 4B = 100G，算上服务系统资源消耗，索引切换等，一个大内存的机器顶多也就加载1个向量索引。
香橙派4和树莓派4B构建K8S集群实践之一：K8S安装
bennybi的博客
04-11 2926
临时关闭Swap, 在我的香橙派中，重启后swap分区又会出来,（试过很多方法都不行），简直是打不死的小强，后期在配置文件（/etc/systemd/system/kubelet.service.d/10-kubeadm.conf）中添加参数--fail-swap-on=false解决，参看遇到的问题一节。kubectl describe pod -n kube-flannel kube-flannel-ds-x4px6 # 查pod问题。: 删除 --network-plugin=cni。
香橙派4和树莓派4B构建K8S集群实践之五：端口公开访问配置
最新发布
bennybi的博客
05-17 697
我们需用k8s集群提供开放特别的端口访问服务，如一些微服务端口- 在团队开发环境中，通常要访问公共数据库，集群需提供统一的接口给大伙接下来以实践四中设置的mariadb-galera为基础，公开端口3306，并用db.k8s-t2.com访问。
k8s集群通过kube-prometheus部署prometheus监控系统
weixin_45112997的博客
07-25 5596
k8s通过kube-prometheus部署prometheus监控
树莓派 ubuntu gpio_在树莓派上：安装Ubuntu Server 20.04
weixin_39530647的博客
11-22 507
什么是树莓派树莓派4b树莓派是英国树莓派基金会(https://www.raspberrypi.org)开发的卡片式电脑，采用高通的BCM2711 ARM64处理器，可用于机器人、物联网、边缘计算、通用计算等多种场景，由于性能不错、扩展丰富、价格便宜，很多开发者也会使用树莓派作为自己的实验性开发平台，或作为低成本服务器使用。树莓派最新的硬件版本为4B，板载内存包括2GB、4GB和8GB三个版本，其...
Chaos Mesh Test(在k8s对mysql,redis zookeeper 进行chaos 测试)
朱夏彤的博客
08-15 7551
githu地址 https://github.com/zhuxiatong/chaos-mesh-test Index Chaos Mesh Test Kubernetes 环境准备  Kubernetes项目节点硬件配置  Kubernetes项目节点软件配置   Kubernetes项目节点系统安装步骤     Kubernetes 选择安装语言     Kubernetes 选择是否更新系统     Kubernetes 硬盘选择     Kubernetes 网络配置     Kubernete
推荐系统(4):深入浅出向量召回检索技术
yanianthe的博客
03-30 2080
推荐系统中，向量召回如何实现？
sealos+rook 部署 kubeSphere+TiDB
云原生实验室
10-16 2851
点击 "阅读原文" 可以获得更好的阅读体验。前言最近 CNCF 宣布 rook 毕业，kubeSphere 正好也发布了 3.0.0 版本，由于 rancher 开源的 ...
Error: “MountVolume.SetUp failed for volume pvc 故障处理
热门推荐
Kason_iWiki
07-02 1万+
MountVolume.SetUp failed for volume "pvc-668750fa-cc0a-4105-96f3-7fa184db4ada" : rpc error: code = Internal desc = stat /csi-data-dir/database/pv: input/output error Error: "MountVolume.SetUp failed for volume \"pvc-668750fa-cc0a-4105-96f3-7fa184db4ada\"
tidb-operator：TiDB操作员创建和管理在Kubernetes中运行的TiDB集群
02-04
TiDB运算符 邮件列表： 网上 TiDB Operator在上管理集群并自动执行与操作TiDB集群相关的任务。 它使TiDB成为真正的云原生数据库。产品特点安全扩展TiDB集群TiDB Operator通过云上的水平可伸缩性为TiDB提供支持。 ...
美团点评TiDB深度实践之旅
01-27
【美团点评TiDB深度实践之旅】是一篇关于美团在应对业务高速增长过程中，如何采用TiDB这一分布式数据库进行数据存储和运维转型的文章。美团在面对传统MySQL数据库无法满足业务需求时，选择启动分布式数据库项目，...
docs-dm:TiDB数据迁移（DM）工具的中文和英文文档
04-09
TiDB数据迁移（DM）文档 该存储库在PingCAP网站上存储所有源文件。... 以前，我们在和存储库中维护TiDB DM文档。 自2020年3月31日起，所有DM文档已移至该存储库，并根据以上分支中的版本进行维护。
ProcessMaker学习笔记
bennybi的博客
03-22 5388
1 配置- 入口src/workflow/public_html/app.php- 安装路径配置：src/workflow/engine/config/paths_installed.php- 数据库配置路径：src/shared/sites/workflow/databases.php  src/shared/sites/workflow/db.php- 系统环境变量：src\...
Linux 必备工具, 命令与例子
bennybi的博客
01-08 4290
wgetscreenunzip/gzipnetstatgitcomposer
WSL2 局域网访问以及hosts注意事项
bennybi的博客
08-19 4148
powershell 下做端口转发代理： netsh interface portproxy add v4tov4 listenport=80 listenaddress=0.0.0.0 connectport=80 connectaddress=172.25.250.32 netsh interface portproxy show all 其中172.25.250.32是wsl2的内部地址
树莓派+SIM7000C下的IoT网络连接实践
bennybi的博客
05-07 3642
目的： 用树莓派+通讯模块，对 移动4G物联卡，联通4G物联卡，电信IoT-NB卡进行连接测试 设备： - 树莓派3B+ -微雪的SIM7000C NB-IoT HAT -http://www.waveshare.net/shop/SIM7000C-NB-IoT-HAT.htm 步骤一： - 连接好板子后，通电 - ssh 进去，根据使用手册，安装SIM7000X驱动和自启脚本 步...
Composer 爆内存不足错误的解决
bennybi的博客
09-07 3170
环境： xampp-portable-win32-7.2.7-0-VC15 问题产生: 在xampp 控制面板打开console, 去到某一项目下，运行:  composer require --prefer-dist yiisoft/yii2-queue 爆出内存不足错误，调整 memory_limit到2g也依然无效。 问题原因： 找了许久，是32位的xampp包的问题 问...
TiDB与K8S实战：构建云原生分布式数据库
通过Kubernetes的Pods和Services，TiDB集群可以在K8S的资源调度下高效运行，同时支持故障转移和自动恢复。 总结来说，黄东旭在会议上详细介绍了TiDB的架构、生态系统，以及如何将它与Kubernetes集成来实现云供应商...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bennybi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值