etcd集群之k8s statefulset实现

最新推荐文章于 2024-05-11 10:46:01 发布
最新推荐文章于 2024-05-11 10:46:01 发布
阅读量1.8k 收藏 3
点赞数 2
分类专栏： kubernetes 文章标签： etcd statefulset kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013812710/article/details/86561476
版权

说明

etcd用k8s的statefulset实现, 一个statefulset的yaml就能实现etcd的集群的动态伸缩, 当你减少statefulset的replicas的时候(或者节点出故障down掉), 自动的把节点从etcd集群中移除,当时增加statefulset的replicas的时候(或者故障节点恢复),自动的把节点添加到etcd集群中. 但是当你减少的集群节点数目小于初始化集群的时候设置的最小集群节点个数的时候, 减少集群节点(或者节点出故障down掉)不会将节点从集群中移除, 新增节点(或者故障节点恢复),自动的把新增节点(或者故障节点恢复)更新到etcd集群中. 声明下该statefulset是基于k8s官方提供的原版yaml修改测试后的. 文件位置,最新源码中(老版本源码中不一定会有): https://github.com/kubernetes/kubernetes/test/e2e/testing-manifests/statefulset/etcd 中的yaml. 但是该yaml无法正常的创建etcd集群, 存在很多问题. 可以自己去测试.

修改后的yaml如下. 如果自己的k8s中不提供存储支持, 请自行将yaml的的pvc改成emptyDir的volume即可. 另外镜像可以自己换成etcd官方镜像.

yaml如下:

apiVersion: v1
kind: Service
metadata:
  name: etcd
  labels:
    app: etcd
spec:
  ports:
  - port: 2380
    name: etcd-server
  - port: 2379
    name: etcd-client
  clusterIP: None
  selector:
    app: etcd
  publishNotReadyAddresses: true

--- 
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: etcd
  labels:
    app: etcd
spec:
  serviceName: etcd
  replicas: 3
  selector:
    matchLabels:
      app: etcd
  template:
    metadata:
      name: etcd
      labels:
        app: etcd
    spec:
      containers:
      - name: etcd
        image: gcr.k8s.io/etcd:3.2.24
        imagePullPolicy: Always
        ports:
        - containerPort: 2380
          name: peer
        - containerPort: 2379
          name: client
        resources:
          requests:
            cpu: 100m
            memory: 512Mi
        env:
        - name: INITIAL_CLUSTER_SIZE
          value: "3"
        - name: SET_NAME
          value: etcd
        - name: NAMESPACE
          valueFrom: 
            fieldRef: 
              fieldPath: meta.namepace
        volumeMounts:
        - name: datadir
          mountPath: /var/run/etcd
        lifecycle:
          preStop:
            exec:
              command:
                - "/bin/sh"
                - "-ec"
                - |
                  EPS=""
                  for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                      EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}:2379"
                  done

                  HOSTNAME=$(hostname)

                  member_hash() {
                      etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}:2380 | cut -d':' -f1 | cut -d'[' -f1
                  }

                  # Remove everything otherwise the cluster will no longer scale-up
                  SET_ID=${HOSTNAME:5:${#HOSTNAME}}
                  # adding a new member to existing cluster (assuming all initial pods are available)
                  if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
                    echo "Removing ${HOSTNAME} from etcd cluster"
                    ETCDCTL_ENDPOINT=${EPS} etcdctl member remove $(member_hash)
                    if [ $? -eq 0 ]; then
                      rm -rf /var/run/etcd/*
                    fi
                  fi
                  
        command:
          - "/bin/sh"
          - "-ec"
          - |
            HOSTNAME=$(hostname)

            # store member id into PVC for later member replacement
            collect_member() {
                while ! etcdctl member list &>/dev/null; do sleep 1; done
                etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}:2380 | cut -d':' -f1 | cut -d'[' -f1 > /var/run/etcd/member_id
                exit 0
            }

            eps() {
                EPS=""
                for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                    EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}:2379"
                done
                echo ${EPS}
            }

            member_hash() {
                etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}:2380 | cut -d':' -f1 | cut -d'[' -f1
            }

            # re-joining after failure?
            if [ -e /var/run/etcd/default.etcd ]; then
                echo "Re-joining etcd member"
                member_id=$(cat /var/run/etcd/member_id)

                # re-join member
                POD_IP=$(hostname -i)
                ETCDCTL_ENDPOINT=$(eps) etcdctl member update ${member_id} http://${HOSTNAME}.${SET_NAME}:2380
                exec etcd --name ${HOSTNAME} \
                    --listen-peer-urls http://${POD_IP}:2380 \
                    --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                    --advertise-client-urls http://${POD_IP}:2379 \
                    --data-dir /var/run/etcd/default.etcd
            fi

            # etcd-SET_ID

            SET_ID=${HOSTNAME:5:${#HOSTNAME}}
            
            # adding a new member to existing cluster (assuming all initial pods are available)
            if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
                export ETCDCTL_ENDPOINT=$(eps)

                # member already added?
                MEMBER_HASH=$(member_hash)


                if [ -n "${MEMBER_HASH}" ]; then
                    # the member hash exists but for some reason etcd failed
                    # as the datadir has not be created, we can remove the member
                    # and retrieve new hash
                    etcdctl member remove ${MEMBER_HASH}
                fi

                echo "Adding new member"
                etcdctl member add ${HOSTNAME} http://${HOSTNAME}.${SET_NAME}:2380 | grep "^ETCD_" > /var/run/etcd/new_member_envs

                if [ $? -ne 0 ]; then
                    echo "Exiting"
                    rm -f /var/run/etcd/new_member_envs
                    exit 1
                fi

                cat /var/run/etcd/new_member_envs
                source /var/run/etcd/new_member_envs

                collect_member &

                POD_IP=$(hostname -i)
                exec etcd --name ${HOSTNAME} \
                    --listen-peer-urls http://${POD_IP}:2380 \
                    --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                    --advertise-client-urls http://${POD_IP}:2379 \
                    --data-dir /var/run/etcd/default.etcd \
                    --initial-advertise-peer-urls http://${HOSTNAME}.${SET_NAME}:2380 \
                    --initial-cluster ${ETCD_INITIAL_CLUSTER} \
                    --initial-cluster-state ${ETCD_INITIAL_CLUSTER_STATE}
            fi

            for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                while true; do
                    echo "Waiting for ${SET_NAME}-${i}.${SET_NAME} to come up"
                    ping -W 1 -c 1 ${SET_NAME}-${i}.${SET_NAME}.${NAMESPACE}.svc.cluster.local > /dev/null && break
                    sleep 1s
                done
            done

            PEERS=""
            for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                PEERS="${PEERS}${PEERS:+,}${SET_NAME}-${i}=http://${SET_NAME}-${i}.${SET_NAME}:2380"
            done
            
            collect_member &

            # join member
            POD_IP=$(hostname -i)
            exec etcd --name ${HOSTNAME} \
                --initial-advertise-peer-urls http://${POD_IP}:2380 \
                --listen-peer-urls http://${POD_IP}:2380 \
                --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                --advertise-client-urls http://${POD_IP}:2379 \
                --initial-cluster-token etcd-cluster-1 \
                --initial-cluster ${PEERS} \
                --initial-cluster-state new \
                --data-dir /var/run/etcd/default.etcd
  volumeClaimTemplates:
  - metadata:
      name: datadir
    spec:
      accessModes:
        - "ReadWriteOnce"
      resources:
        requests:
          # upstream recommended max is 700M
          storage: 1Gi

emptyDir的yaml如下:

apiVersion: v1
kind: Service
metadata:
  name: etcd
  labels:
    app: etcd
spec:
  ports:
  - port: 2380
    name: etcd-server
  - port: 2379
    name: etcd-client
  clusterIP: None
  selector:
    app: etcd
  publishNotReadyAddresses: true
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: etcd
  labels:
    app: etcd
spec:
  serviceName: etcd
  replicas: 3
  selector:
    matchLabels:
      app: etcd
  template:
    metadata:
      name: etcd
      labels:
        app: etcd
    spec:
      volumes:
      - name: datadir
        emptyDir: {}
      containers:
      - name: etcd
        image: gcr.k8s.io/etcd:3.2.24
        imagePullPolicy: Always
        ports:
        - containerPort: 2380
          name: peer
        - containerPort: 2379
          name: client
        resources:
          requests:
            cpu: 100m
            memory: 512Mi
        env:
        - name: INITIAL_CLUSTER_SIZE
          value: "3"
        - name: SET_NAME
          value: etcd
        - name: NAMESPACE
          valueFrom: 
            fieldRef: 
              fieldPath: meta.namepace
        volumeMounts:
        - name: datadir
          mountPath: /var/run/etcd
        lifecycle:
          preStop:
            exec:
              command:
                - "/bin/sh"
                - "-ec"
                - |
                  EPS=""
                  for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                      EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}:2379"
                  done

                  HOSTNAME=$(hostname)

                  member_hash() {
                      etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}:2380 | cut -d':' -f1 | cut -d'[' -f1
                  }

                  # Remove everything otherwise the cluster will no longer scale-up
                  SET_ID=${HOSTNAME:5:${#HOSTNAME}}
                  # adding a new member to existing cluster (assuming all initial pods are available)
                  if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
                    echo "Removing ${HOSTNAME} from etcd cluster"
                    ETCDCTL_ENDPOINT=${EPS} etcdctl member remove $(member_hash)
                    if [ $? -eq 0 ]; then
                      rm -rf /var/run/etcd/*
                    fi
                  fi
                  
        command:
          - "/bin/sh"
          - "-ec"
          - |
            HOSTNAME=$(hostname)

            # store member id into PVC for later member replacement
            collect_member() {
                while ! etcdctl member list &>/dev/null; do sleep 1; done
                etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}:2380 | cut -d':' -f1 | cut -d'[' -f1 > /var/run/etcd/member_id
                exit 0
            }

            eps() {
                EPS=""
                for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                    EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}:2379"
                done
                echo ${EPS}
            }

            member_hash() {
                etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}:2380 | cut -d':' -f1 | cut -d'[' -f1
            }

            # re-joining after failure?
            if [ -e /var/run/etcd/default.etcd ]; then
                echo "Re-joining etcd member"
                member_id=$(cat /var/run/etcd/member_id)

                # re-join member
                POD_IP=$(hostname -i)
                ETCDCTL_ENDPOINT=$(eps) etcdctl member update ${member_id} http://${HOSTNAME}.${SET_NAME}:2380
                exec etcd --name ${HOSTNAME} \
                    --listen-peer-urls http://${POD_IP}:2380 \
                    --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                    --advertise-client-urls http://${POD_IP}:2379 \
                    --data-dir /var/run/etcd/default.etcd
            fi

            # etcd-SET_ID

            SET_ID=${HOSTNAME:5:${#HOSTNAME}}
            
            # adding a new member to existing cluster (assuming all initial pods are available)
            if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
                export ETCDCTL_ENDPOINT=$(eps)

                # member already added?
                MEMBER_HASH=$(member_hash)


                if [ -n "${MEMBER_HASH}" ]; then
                    # the member hash exists but for some reason etcd failed
                    # as the datadir has not be created, we can remove the member
                    # and retrieve new hash
                    etcdctl member remove ${MEMBER_HASH}
                fi

                echo "Adding new member"
                etcdctl member add ${HOSTNAME} http://${HOSTNAME}.${SET_NAME}:2380 | grep "^ETCD_" > /var/run/etcd/new_member_envs

                if [ $? -ne 0 ]; then
                    echo "Exiting"
                    rm -f /var/run/etcd/new_member_envs
                    exit 1
                fi

                cat /var/run/etcd/new_member_envs
                source /var/run/etcd/new_member_envs

                collect_member &

                POD_IP=$(hostname -i)
                exec etcd --name ${HOSTNAME} \
                    --listen-peer-urls http://${POD_IP}:2380 \
                    --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                    --advertise-client-urls http://${POD_IP}:2379 \
                    --data-dir /var/run/etcd/default.etcd \
                    --initial-advertise-peer-urls http://${HOSTNAME}.${SET_NAME}:2380 \
                    --initial-cluster ${ETCD_INITIAL_CLUSTER} \
                    --initial-cluster-state ${ETCD_INITIAL_CLUSTER_STATE}
            fi

            for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                while true; do
                    echo "Waiting for ${SET_NAME}-${i}.${SET_NAME} to come up"
                    ping -W 1 -c 1 ${SET_NAME}-${i}.${SET_NAME}.${NAMESPACE}.svc.cluster.local > /dev/null && break
                    sleep 1s
                done
            done

            PEERS=""
            for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
                PEERS="${PEERS}${PEERS:+,}${SET_NAME}-${i}=http://${SET_NAME}-${i}.${SET_NAME}:2380"
            done
            
            collect_member &

            # join member
            POD_IP=$(hostname -i)
            exec etcd --name ${HOSTNAME} \
                --initial-advertise-peer-urls http://${POD_IP}:2380 \
                --listen-peer-urls http://${POD_IP}:2380 \
                --listen-client-urls http://${POD_IP}:2379,http://127.0.0.1:2379 \
                --advertise-client-urls http://${POD_IP}:2379 \
                --initial-cluster-token etcd-cluster-1 \
                --initial-cluster ${PEERS} \
                --initial-cluster-state new \
                --data-dir /var/run/etcd/default.etcd
  # volumeClaimTemplates:
  # - metadata:
  #     name: datadir
  #   spec:
  #     accessModes:
  #       - "ReadWriteOnce"
  #     resources:
  #       requests:
  #         # upstream recommended max is 700M
  #         storage: 1Gi
just-go
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用K8S Statefulset控制器部署Etcd数据库集群（四十九）
江晓龙的博客
03-17 1411
使用K8S Statefulset控制器部署Etcd数据库集群 文章目录使用K8S Statefulset控制器部署Etcd数据库集群1.编写Headless service资源文件2.编写PodDisruptionBudget资源文件3.编写StorageClass资源文件4.编写Statfulset资源文件5.创建所有资源6.查看集群状态7.扩容集群节点8.收缩集群节点 1.编写Headless service资源文件 [root@k8s-master1 etcd]# vim etcd-headless
使用Statefulset在k8s集群中部署etcd集群
weixin_45669656的博客
10-12 913
前言 在使用别人的镜像和yaml出现很多问题后，我通过自己构建dockerfile定制自己的镜像。按照我的步骤，前期将启动脚本和etcd所需配置导入镜像中，这样一来后期部署的yaml只需要打入几个环境变量即可，这样将非常简洁方便！ 所需脚本和所有内容都将在我的GitHub中找到： https://github.com/xll-forever/k8s-etcd 当然，etcd安装包可以去官网下载压缩包，解压后与Dockerfile放在同一目录下 构建镜像 如果你不想自己构建镜像，可以去阿里云拉取我构建
使用Statefulset在Kubernetes集群中部署etcd集群
chuzong1354的博客
06-19 779
随着微服务架构的火爆，Etcd作为服务发现或者分部式存储的基础平台也越来越频繁的出现在我们的视野里。因此对于快速部署一套高可用的Etcd集群的需求也越来越强烈，本次就带领大家一起使用Kubernetes的Statefulset特性快速部署一套Etcd集群。 什么是Kubernetes？ Ku...
etcd配置文件详解
最新发布
IChen.的博客
05-11 543
【代码】etcd配置文件详解。
etcd-statefulset:在调控器中创建statefulset etcd集群
05-12
随着微服务架构的火爆，Etcd作为服务发现或者分部式存储的基础平台也越来越频繁的出现在我们的视野里。因此对于快速部署一套高可用的Etcd集群的需求也越来越强烈，本次就带领大家一起使用Kubernetes的Statefulset特性快速部署一套Etcd集群。 什么是Kubernetes？ Kubernetes 是一个用于容器集群的自动化部署、扩容以及运维的开源平台。 使用Kubernetes，你可以快速高效地响应客户需求： 快速并且无意外的部署你的应用。 动态地对应用进行扩容。 无缝地发布新特性。 仅使用需要的资源以优化硬件使用。 什么是Etcd？ Etcd的目的是提供一个分布式键值动态数据库,维护一个"Configuration Registry"。 这个Registry的基础之一是Kubernetes集群发现和集中的配置管理。 它在某些方面类似于Redis,经典的LDAP配置后端以及Wi
NFS动态存储之StatefulSet 部署 etcd 集群
weixin_42562106的博客
12-24 424
cat<<END> etcdc.yaml apiVersion: apps/v1 kind: StatefulSet metadata: labels: app: etcd name: etcd spec: replicas: 3 selector: matchLabels: app: etcd serviceName: etcd template: metadata: labels: app: et
k8s集群环境搭建资源
10-27
1. **Master节点**：Master节点是k8s集群的控制中心，包含API服务器、etcd、调度器、控制器管理器等关键组件。API服务器处理REST请求，与etcd（分布式键值存储）交互来存储和检索集群状态。调度器负责将Pod分配到...
容器集群管理系统k8s从入门到精通
12-01
在这个"容器集群管理系统k8s从入门到精通"的学习资料中，我们将深入理解K8s的核心概念、组件以及如何利用它来优化Java应用的运行。 首先，让我们了解Kubernetes的基础架构。K8s的核心组件包括：Master节点和Worker...
etcd 集群部署包 TLS.tar.gz
06-29
**etcd集群部署详解** etcd是一个分布式的、高可用的键值存储系统，用于共享配置...通过理解TLS的工作原理和etcd集群的部署步骤，我们可以构建一个安全、高可用的etcd集群，为k8s提供稳定且安全的服务发现和配置管理。
k8s课件k8s课件k8s课件k8s课件
02-15
k8s集群架构主要包括kube-apiserver、kube-controller-manager、kube-scheduler、Etcd、kubelet、kube-proxy、docker或rocket等组件。 k8s集群架构与组件 1. kube-apiserver：kubernetes API，集群的统一入口，各...
阿里Kubernetes（k8s）详解
09-02
阿里Kubernetes（k8s）详解 Kubernetes（简称k8s）是由Google开源的一款容器编排系统，现由CNCF（Cloud Native Computing Foundation）维护。阿里云作为国内领先的云计算服务提供商，深度参与了Kubernetes的发展，...
k8s集群部署方案_使用Statefulset在k8s集群中部署etcd集群
weixin_39960793的博客
12-03 503
前言我通过自己构建dockerfile定制自己的镜像。按照我的步骤，前期将启动脚本和etcd所需配置导入镜像中，这样一来后期部署的yaml只需要打入几个环境变量即可，这样将非常简洁方便！所需脚本和所有内容都将在我的GitHub中找到：https://github.com/xll-forever/k8s-etcd​github.com当然，etcd安装包可以去官网下载压缩包，解压后与Dockerfi...
statefulset部署etcd v3.5.4集群
07-05 985
Statefulset部署etcd集群
使用 StatefulSet 部署 etcd 集群
DevOps持续集成的博客
11-24 1223
上文我们简单介绍了 etcd 的基本概念和使用场景，本文就来介绍如何搭建 etcd 集群。在生产环境中，为了整个集群的高可用，etcd 正常都会以集群方式部署，避免单点故障。引导 etc...
部署k8s statefulset
Focus on k8s and python
01-04 767
利用之前创建的storageclass,部署了个statefulset. 如下为yaml文件 [root@master ~]# cat nginx-statefulset.yaml apiVersion: v1 kind: Service metadata:   name: nginx   labels:     app: nginx spec:   ports:
k8s安装之etcd备份还原yaml
weixin_30894389的博客
05-22 1043
etcd备份还原方案，这种比较高级。 使用docker，自动化处理。 如果单节点备份,ETCD_ENDPOINTS一个即可。 如果多节点恢复，依次执行恢复脚本即可。 apiVersion: batch/v1beta1 kind: CronJob metadata: name: backup namespace: kube-system spec: # activ...
k8s 的etcd备份、CoreDNS和dashboard安装，集群升级，yaml详解
m0_59304292的博客
05-09 1184
欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图.
注册中心servicecomb单节点k8s部署yaml
x10n9的博客
12-08 343
使用内嵌ETCD，挂载ETCD数据目录 --- apiVersion: v1 kind: Service metadata: name: servicecomb labels: app: servicecomb spec: ports: - port: 30100 targetPort: 30100 name: sercombport clusterIP: None selector: app: servicecomb --- apiVersion:
k8s技术交流，包括Pod概念和特点Pod种类Pod镜像拉取策略Pod重启策略Pod控制器Pod探针、Pod调度
05-13
- **Etcd**：提供高可用、强一致性的键值存储，存储k8s集群的状态信息。 - **Scheduler**：负责Pod的调度决策。 - **Controller-manager**：管理各种内置控制器，如ReplicationController，保持期望状态和实际状态的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值