NFS动态存储之StatefulSet 部署 etcd 集群

最新推荐文章于 2024-04-08 07:30:00 发布
最新推荐文章于 2024-04-08 07:30:00 发布
阅读量424 收藏
点赞数
分类专栏： 存储 Kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42562106/article/details/111653748
版权 
cat<<END> etcdc.yaml 
apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    app: etcd
  name: etcd
spec:
  replicas: 3
  selector:
    matchLabels:
      app: etcd
  serviceName: etcd
  template:
    metadata:
      labels:
        app: etcd
    spec:
      containers:
        - name: etcd
          image: registry.cn-shenzhen.aliyuncs.com/jbjb/csi:etcd
          imagePullPolicy: IfNotPresent
          ports:
          - containerPort: 2380
            name: peer
            protocol: TCP
          - containerPort: 2379
            name: client
            protocol: TCP
          env:
          - name: INITIAL_CLUSTER_SIZE
            value: "3"
          - name: MY_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: POD_IP
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
          - name: SET_NAME
            value: "etcd"
          command:
            - /bin/sh
            - -ec
            - |
              HOSTNAME=$(hostname)

              ETCDCTL_API=3

              eps() {
                  EPS=""
                  for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                      EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2379"
                  done
                  echo ${EPS}
              }

              member_hash() {
                  etcdctl member list | grep -w "$HOSTNAME" | awk '{ print $1}' | awk -F "," '{ print $1}'
              }

              initial_peers() {
                  PEERS=""
                  for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                    PEERS="${PEERS}${PEERS:+,}${SET_NAME}-${i}=http://${SET_NAME}-${i}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2380"
                  done
                  echo ${PEERS}
              }

              # etcd-SET_ID
              SET_ID=${HOSTNAME##*-}

              # adding a new member to existing cluster (assuming all initial pods are available)
              if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
                  # export ETCDCTL_ENDPOINTS=$(eps)
                  # member already added?

                  MEMBER_HASH=$(member_hash)
                  if [ -n "${MEMBER_HASH}" ]; then
                      # the member hash exists but for some reason etcd failed
                      # as the datadir has not be created, we can remove the member
                      # and retrieve new hash
                      echo "Remove member ${MEMBER_HASH}"
                      etcdctl --endpoints=$(eps) member remove ${MEMBER_HASH}
                  fi

                  echo "Adding new member"

                  echo "etcdctl --endpoints=$(eps) member add ${HOSTNAME} --peer-urls=http://${HOSTNAME}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2380"
                  etcdctl member --endpoints=$(eps) add ${HOSTNAME} --peer-urls=http://${HOSTNAME}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2380 | grep "^ETCD_" > /var/run/etcd/new_member_envs

                  if [ $? -ne 0 ]; then
                      echo "member add ${HOSTNAME} error."
                      rm -f /var/run/etcd/new_member_envs
                      exit 1
                  fi

                  echo "==> Loading env vars of existing cluster..."
                  sed -ie "s/^/export /" /var/run/etcd/new_member_envs
                  cat /var/run/etcd/new_member_envs
                  . /var/run/etcd/new_member_envs

                  echo "etcd --name ${HOSTNAME} --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} --listen-peer-urls http://${POD_IP}:2380 --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 --advertise-client-urls http://${HOSTNAME}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2379 --data-dir /var/run/etcd/default.etcd --initial-cluster ${ETCD_INITIAL_CLUSTER} --initial-cluster-state ${ETCD_INITIAL_CLUSTER_STATE}"

                  exec etcd --listen-peer-urls http://${POD_IP}:2380 \
                      --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                      --advertise-client-urls http://${HOSTNAME}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2379 \
                      --data-dir /var/run/etcd/default.etcd
              fi

              for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                  while true; do
                      echo "Waiting for ${SET_NAME}-${i}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local to come up"
                      ping -W 1 -c 1 ${SET_NAME}-${i}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local > /dev/null && break
                      sleep 1s
                  done
              done

              echo "join member ${HOSTNAME}"
              # join member
              exec etcd --name ${HOSTNAME} \
                  --initial-advertise-peer-urls http://${HOSTNAME}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2380 \
                  --listen-peer-urls http://${POD_IP}:2380 \
                  --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                  --advertise-client-urls http://${HOSTNAME}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2379 \
                  --initial-cluster-token etcd-cluster-1 \
                  --data-dir /var/run/etcd/default.etcd \
                  --initial-cluster $(initial_peers) \
                  --initial-cluster-state new
          lifecycle:
            preStop:
              exec:
                command:
                  - /bin/sh
                  - -ec
                  - |
                    HOSTNAME=$(hostname)

                    member_hash() {
                        etcdctl member list | grep -w "$HOSTNAME" | awk '{ print $1}' | awk -F "," '{ print $1}'
                    }

                    eps() {
                        EPS=""
                        for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                            EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}.${MY_NAMESPACE}.svc.cluster.local:2379"
                        done
                        echo ${EPS}
                    }

                    export ETCDCTL_ENDPOINTS=$(eps)
                    SET_ID=${HOSTNAME##*-}

                    # Removing member from cluster
                    if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
                        echo "Removing ${HOSTNAME} from etcd cluster"
                        etcdctl member remove $(member_hash)
                        if [ $? -eq 0 ]; then
                            # Remove everything otherwise the cluster will no longer scale-up
                            rm -rf /var/run/etcd/*
                        fi
                    fi
          volumeMounts:
            - name: datadir
              mountPath: /var/run/etcd
         
  volumeClaimTemplates:
  - metadata:
      name: datadir
      annotations:
        volume.beta.kubernetes.io/storage-class: "managed-nfs-storage"
    spec:
      accessModes: ["ReadWriteOnce"]
      resources:
        requests:
          storage: 1Gi
---
apiVersion: v1
kind: Service
metadata:
  name: etcd
  labels:
    app: etcd
spec:
  ports:
  - port: 2380
    name: etcd-server
  - port: 2379
    name: etcd-client
  clusterIP: None
  selector:
    app: etcd
  publishNotReadyAddresses: true
END
动态存储StorageClass
cat <<END>storageClass.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: managed-nfs-storage
  namespace: test
provisioner: example.com/nfs
mountOptions:
  - vers=4.1
END
使用PodDisruptionBudget保护应用程序
#详情看官网链接
#https://kubernetes.io/docs/tasks/run-application/configure-pdb/

cat <<END>pdb.yaml
apiVersion: policy/v1beta1
kind: PodDisruptionBudget
metadata:
  name: etcd-pdb
  labels:
    pdb: etcd
spec:
  minAvailable: 2
  selector:
    matchLabels:
      app: etcd
END

[root@c169 ccc]#  kubectl get pods -l app=etcd
NAME     READY   STATUS    RESTARTS   AGE
etcd-0   1/1     Running   0          23m
etcd-1   1/1     Running   0          23m
etcd-2   1/1     Running   0          23m

[root@c169 ccc]# kubectl exec -i etcd-0 --  etcdctl --endpoints etcd-0.etcd:2379,etcd-1.etcd:2379,etcd-2.etcd:2379 endpoint status --write-out=table
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|     ENDPOINT     |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| etcd-0.etcd:2379 | c799a6ef06bc8c14 |  3.4.14 |   20 kB |      true |      false |        16 |         20 |                 20 |        |
| etcd-1.etcd:2379 | 9869f0647883a00d |  3.4.14 |   20 kB |     false |      false |        16 |         20 |                 20 |        |
| etcd-2.etcd:2379 | 42c8b94265b9b79a |  3.4.14 |   20 kB |     false |      false |        16 |         20 |                 20 |        |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
[root@c169 ccc]# kubectl exec -i etcd-0 --  etcdctl --endpoints etcd-0.etcd:2379,etcd-1.etcd:2379,etcd-2.etcd:2379 endpoint status --write-out=table
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|     ENDPOINT     |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| etcd-0.etcd:2379 | c799a6ef06bc8c14 |  3.4.14 |   20 kB |      true |      false |        16 |         20 |                 20 |        |
| etcd-1.etcd:2379 | 9869f0647883a00d |  3.4.14 |   20 kB |     false |      false |        16 |         20 |                 20 |        |
| etcd-2.etcd:2379 | 42c8b94265b9b79a |  3.4.14 |   20 kB |     false |      false |        16 |         20 |                 20 |        |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

尝试增加

[root@c169 ccc]# kubectl scale --replicas=5 statefulset etcd
statefulset.apps/etcd scaled

[root@c169 ccc]# kubectl exec -i etcd-0 --  etcdctl --endpoints etcd-0.etcd:2379,etcd-1.etcd:2379,etcd-2.etcd:2379,etcd-3.etcd:2379,etcd-4.etcd:2379 endpoint status --write-out=table
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|     ENDPOINT     |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| etcd-0.etcd:2379 | c799a6ef06bc8c14 |  3.4.14 |   20 kB |     false |      false |        20 |         13 |                 13 |        |
| etcd-1.etcd:2379 | 9869f0647883a00d |  3.4.14 |   20 kB |     false |      false |        20 |         13 |                 13 |        |
| etcd-2.etcd:2379 | 42c8b94265b9b79a |  3.4.14 |   20 kB |      true |      false |        20 |         13 |                 13 |        |
| etcd-3.etcd:2379 | e56a9d450a21227c |  3.4.14 |   20 kB |     false |      false |        20 |         13 |                 13 |        |
| etcd-4.etcd:2379 | 6d5a1b944a1b39c0 |  3.4.14 |   20 kB |     false |      false |        20 |         13 |                 13 |        |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

[root@c169 ccc]# kubectl exec busybox -- nslookup etcd
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      etcd
Address 1: 10.244.2.89 etcd-0.etcd.default.svc.cluster.local
Address 2: 10.244.2.92 etcd-3.etcd.default.svc.cluster.local
Address 3: 10.244.2.93 etcd-4.etcd.default.svc.cluster.local
Address 4: 10.244.2.90 etcd-1.etcd.default.svc.cluster.local
Address 5: 10.244.2.91 etcd-2.etcd.default.svc.cluster.local

收缩

kubectl scale --replicas=3 statefulset etcd
[root@c169 ccc]# kubectl exec -i etcd-0 --  etcdctl --endpoints etcd-0.etcd:2379,etcd-1.etcd:2379,etcd-2.etcd:2379 endpoint status --write-out=table
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|     ENDPOINT     |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| etcd-0.etcd:2379 | c799a6ef06bc8c14 |  3.4.14 |   20 kB |     false |      false |        20 |         15 |                 15 |        |
| etcd-1.etcd:2379 | 9869f0647883a00d |  3.4.14 |   20 kB |     false |      false |        20 |         15 |                 15 |        |
| etcd-2.etcd:2379 | 42c8b94265b9b79a |  3.4.14 |   20 kB |      true |      false |        20 |         15 |                 15 |        |
+------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
测试
[root@c169 ccc]# kubectl exec -it etcd-0 -- etcdctl --endpoints=http://127.0.0.1:2379 put foo bar
OK
[root@c169 ccc]# kubectl exec -it etcd-0 -- etcdctl --endpoints=http://127.0.0.1:2379 get foo
foo
bar
[root@c169 ccc]# kubectl exec -it etcd-1 -- etcdctl --endpoints=http://127.0.0.1:2379 get foo
foo
bar
[root@c169 ccc]# kubectl exec -it etcd-2 -- etcdctl --endpoints=http://127.0.0.1:2379 get foo
foo
bar
野猪佩挤
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用K8S Statefulset控制器部署Etcd数据库集群（四十九）
江晓龙的博客
03-17 1411
使用K8S Statefulset控制器部署Etcd数据库集群 文章目录使用K8S Statefulset控制器部署Etcd数据库集群1.编写Headless service资源文件2.编写PodDisruptionBudget资源文件3.编写StorageClass资源文件4.编写Statfulset资源文件5.创建所有资源6.查看集群状态7.扩容集群节点8.收缩集群节点 1.编写Headless service资源文件 [root@k8s-master1 etcd]# vim etcd-headless
闲谈etcd（一）
06-20 465
简介 etcd 是 CoreOS 团队于 2013 年 6 月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库，具有一定的一致性、高性能、高可用的方案。 etcd 提供了一种可靠的方式来存储需要由分布式系统或机器集群访问的数据。etcd 机器之间的通信通过 Raft 算法处理，可以优雅地处理网络分区期间的 leader 选举，以应对机器的故障。 etcd 采用 Go 语言编写，它具有出色的跨平台支持，很小的二进制文件和强大的社区。 类似的 zookeeper，但没有 z
k8s中部署etcd集群
wm6752062的专栏
04-04 3236
在k8s中创建etcd集群
statefulset部署etcd v3.5.4集群
07-05 985
Statefulset部署etcd集群
搭建NFS服务器，部署k8s集群，并在k8s中使用NFS作为持久化储存
博客虽小，世界尽在其中
04-08 3187
本文旨在探讨如何搭建NFS服务器，并将其集成到Kubernetes（K8s）集群中作为持久化存储的解决方案。我们将首先介绍NFS的基本原理和优势，随后详细阐述NFS服务器的搭建过程，包括安装NFS软件包、配置NFS共享目录以及启动NFS服务。接着，我们将探讨如何安装k8s集群并在K8s中部署NFS客户端。
Kubernetes8——Volumes配置管理（nfs、pv、pvc、statefulset）
qwejiaji的博客
08-02 842
目录一、Volume二、emptyDir卷三、hostPath 卷四、NFS共享文件五、PersistentVolume持久卷（PV）1、静态PV 一、Volume Volume是对各种存储资源的抽象、虚拟化。为管理、控制、使用存储资源提供统一接口。Openstack中的volume为虚拟机提供存储，Docker中的volume为容器提供存储。因为在kubernetes中可部署运行最小单位是pod ,所以kubernetes的volume为pod提供存储。当然在部署pod时可以不为其提供volume，po
数据持久化-nfs网络存储
weixin_40329367的博客
03-17 1239
1.nfs 网络存储 pod重启时，数据还存在的，查看日志: cat /var/log/messages |grep mount nfs配置 找一台服务器nfs 服务端（可以是master） yum install -y nfs-utils 安装nfs设置挂载路径 vi /etc/exports /data/etcd *(rw,no_root_squash) cd /data ==>mkdir nfs 在node 节点安装nfs 在nfs服务器启动nfs systemct
K8S监控之NFS动态storageClass存储
12-27
NFS存储类（storageClass）是定义如何动态创建和管理这些NFS PV的关键组件。 1. **动态存储类**： 在K8S中，动态Provisioning允许集群根据storageClass自动创建PV，当一个Pod请求存储时。用户不再需要预先创建PV，...
LVS+Keepalived+NFS集群
最新发布
06-24
LVS+Keepalived+NFS集群是一种高度可用的网络文件系统集群，它结合了Linux虚拟服务器（LVS）和Keepalived的高可用性（HA）功能，以及NFS（网络文件系统）的分布式文件共享功能。该集群提供了一种可靠和高效的共享...
NFS动态存储StorageClass资源清单文件
10-20
总的来说，这个资源包是Kubernetes新手或开发者进行NFS存储实践的理想起点，涵盖了从安装NFS服务器到配置Kubernetes动态存储的全过程。用户可以通过解压文件，逐个应用yaml配置，观察并学习如何在Kubernetes中实现...
openLooKeng动态目录实战，基于NFS共享文件系统实现集群环境的动态目录注册、删除、更新等
12-25
openLooKeng 动态目录实战基于 NFS 共享文件系统实现集群环境的....openLooKeng 动态目录实战基于 NFS 共享文件系统实现集群环境的动态目录注册、删除、更新等操作，为实现数据虚拟化和数据中心分析提供了强大的支持。
etcd-statefulset:在调控器中创建statefulset etcd集群
05-12
随着微服务架构的火爆，Etcd作为服务发现或者分部式存储的基础平台也越来越频繁的出现在我们的视野里。因此对于快速部署一套高可用的Etcd集群的需求也越来越强烈，本次就带领大家一起使用Kubernetes的Statefulset特性快速部署一套Etcd集群。 什么是Kubernetes？ Kubernetes 是一个用于容器集群的自动化部署、扩容以及运维的开源平台。 使用Kubernetes，你可以快速高效地响应客户需求： 快速并且无意外的部署你的应用。 动态地对应用进行扩容。 无缝地发布新特性。 仅使用需要的资源以优化硬件使用。 什么是Etcd？ Etcd的目的是提供一个分布式键值动态数据库,维护一个"Configuration Registry"。 这个Registry的基础之一是Kubernetes集群发现和集中的配置管理。 它在某些方面类似于Redis,经典的LDAP配置后端以及Wi
nfs部署StorageClass
04-03
6. **挂载PVC到Pod**：最后，将PVC挂载到你的Pod中，以便应用程序能够使用NFS存储。 通过以上步骤，你就成功地部署了一个基于NFS的StorageClass，并实现了PVC的动态供给。这种配置使得在Kubernetes中管理和扩展存储...
使用nfs 作为PV 学习StatefulSet
weixin_40455124的博客
04-03 246
使用 quay.io/external_storage/nfs-client-provisioner 作为动态pv的storageClass来测试StatefuleSet。 注意nfs-client-provisioner 会不时连接不到api-server，原因不详。 先上关键配置，StorageClass及nfs 对应的deamon（deployment）： --- apiVersion: s...
etcd集群之k8s statefulset实现
RainMan's love
11-22 1884
说明 etcd用k8s的statefulset实现, 一个statefulset的yaml就能实现etcd的集群的动态伸缩, 当你减少statefulset的replicas的时候(或者节点出故障down掉), 自动的把节点从etcd集群中移除,当时增加statefulset的replicas的时候(或者故障节点恢复),自动的把节点添加到etcd集群中. 但是当你减少的集群节点数目小于初始化集群的...
k8s nfs运行问题、etcd问题、calico网络问题
吴广智的博客
05-09 1189
【代码】k8s nfs运行问题、etcd问题、calico网络问题。
使用 StatefulSet 部署 etcd 集群
DevOps持续集成的博客
11-24 1223
上文我们简单介绍了 etcd 的基本概念和使用场景，本文就来介绍如何搭建 etcd 集群。在生产环境中，为了整个集群的高可用，etcd 正常都会以集群方式部署，避免单点故障。引导 etc...
基于NAS共享NFS的statefulset，volumes绑定为hostpath遇到的权限问题及解决方案。
Explore
11-16 2639
问题背景：不同于常规k8s的statefulset,我们没有创建pv，在statefulset的yaml文件里没有使用volumeClaimTemplates声明PVC的模板,而是直接使用的volumes搭配hostpath的方式，使用的宿主机的存储卷（宿主机的存储卷目录已经挂载到nas 的nfs共享卷）。 statefulset.yaml的volume字段（完整的yaml文件会在文章最末尾贴出来）： apiVersion: apps/v1 kind: StatefulSet ...
nfs服务器集群化部署方式
06-13
NFS Clustering是指将多个NFS服务器组成一个集群，通过共享存储设备实现数据的共享。当某个NFS服务器宕机时，其他NFS服务器可以接管其服务，从而实现高可用性。NFS Clustering需要使用专业的软件，如Red Hat Cluster...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值