Etcd高可用集群部署

已于 2023-12-28 17:02:18 修改
阅读量450 收藏 12
点赞数 7
分类专栏： # etcd 文章标签： etcd 数据库
于 2023-12-27 21:33:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51964671/article/details/135256371
版权

在这里插入图片描述

本文来自我的博客地址

文章目录

主机规划

主机IP
node111.0.1.144
node211.0.1.145
node311.0.1.146

确保 Go 版本 1.15+

etcd 集群证书

安装 cfssl

apt install golang-cfssl -y

生成默认证书

cfssl print-defaults config > ca-config.json
cfssl print-defaults crs > ca-crs.json

修改证书

root@ubuntu:~/tls# cat ca-config.json
{
    "signing": {
        "default": {
            "expiry": "876000h"
        },
        "profiles": {
            "etcdha": {
                "expiry": "876000h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "client auth",
                    "server auth"
                ]
            }
        }
    }
}

root@ubuntu:~/tls# cat ca-csr.json
{
    "CN": "CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "O": "etcd",
            "ST": "xian",
            "L": "chengdu",
            "OU": "system"
        }
    ]
}

生成 CA 证书

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

创建 etcd 证书签名请求（etcd-csr.json)

root@ubuntu:~/tls# cat etcd-csr.json
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "11.0.1.144",
    "11.0.1.145",
    "11.0.1.146"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "O": "etcdha"
    }
  ]
}

使用 ca 证书签发 etcd 证书

cfssl gencert -ca ca.pem -ca-key ca-key.pem -config ca-config.json -profile etcdha etcd-csr.json | cfssljson -bare etcd

root@ubuntu:~/tls# ls
ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem  etcd.csr  etcd-csr.json  etcd-key.pem  etcd.pem

复制证书

mkdir /opt/etcd -p
cp etcd*.pem ca*.pem /opt/etcd/ssl/
cd /opt/etcd/ssl

# 确保事先有相应目录
scp *.pem root@11.0.1.145:/opt/etcd/ssl/
scp *.pem root@11.0.1.146:/opt/etcd/ssl/

etcd HA 部署

安装 etcd

ETCD_VER=v3.5.11

# choose either URL
GOOGLE_URL=https://storage.googleapis.com/etcd
GITHUB_URL=https://github.com/etcd-io/etcd/releases/download
DOWNLOAD_URL=${GOOGLE_URL}

rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-test

curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz

/tmp/etcd-download-test/etcd --version
/tmp/etcd-download-test/etcdctl version
/tmp/etcd-download-test/etcdutl version

mv /tmp/etcd-download-test/etcd /bin/
mv /tmp/etcd-download-test/etcdctl /bin/
mv /tmp/etcd-download-test/etcdutl /bin/

分别在各个节点启动 etcd

node1:

nohup etcd --name infra0 \
--data-dir=/tmp/etcd/infra0 \
--listen-peer-urls https://11.0.1.144:2380 \
--initial-advertise-peer-urls https://11.0.1.144:2380 \
--listen-client-urls https://11.0.1.144:2379 \
--advertise-client-urls https://11.0.1.144:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://11.0.1.144:2380,infra1=https://11.0.1.145:2380,infra2=https://11.0.1.146:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/opt/etcd/ssl/ca.pem \
--cert-file=/opt/etcd/ssl/etcd.pem \
--key-file=/opt/etcd/ssl/etcd-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-cert-file=/opt/etcd/ssl/etcd.pem \
--peer-key-file=/opt/etcd/ssl/etcd-key.pem 2>&1 > /var/log/infra0.log &

node2:

nohup etcd --name infra1 \
--data-dir=/tmp/etcd/infra1 \
--listen-peer-urls https://11.0.1.145:2380 \
--initial-advertise-peer-urls https://11.0.1.145:2380 \
--listen-client-urls https://11.0.1.145:2379 \
--advertise-client-urls https://11.0.1.145:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://11.0.1.144:2380,infra1=https://11.0.1.145:2380,infra2=https://11.0.1.146:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/opt/etcd/ssl/ca.pem \
--cert-file=/opt/etcd/ssl/etcd.pem \
--key-file=/opt/etcd/ssl/etcd-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-cert-file=/opt/etcd/ssl/etcd.pem \
--peer-key-file=/opt/etcd/ssl/etcd-key.pem 2>&1 > /var/log/infra1.log &

node3:

nohup etcd --name infra2 \
--data-dir=/tmp/etcd/infra2 \
--listen-peer-urls https://11.0.1.146:2380 \
--initial-advertise-peer-urls https://11.0.1.146:2380 \
--listen-client-urls https://11.0.1.146:2379 \
--advertise-client-urls https://11.0.1.146:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://11.0.1.144:2380,infra1=https://11.0.1.145:2380,infra2=https://11.0.1.146:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/opt/etcd/ssl/ca.pem \
--cert-file=/opt/etcd/ssl/etcd.pem \
--key-file=/opt/etcd/ssl/etcd-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-cert-file=/opt/etcd/ssl/etcd.pem \
--peer-key-file=/opt/etcd/ssl/etcd-key.pem 2>&1 > /var/log/infra2.log &

查看集群状态

root@ubuntu:/opt/etcd/ssl# etcdctl --endpoints=https://11.0.1.144:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  member list -wtable
+------------------+---------+--------+-------------------------+-------------------------+------------+
|        ID        | STATUS  |  NAME  |       PEER ADDRS        |      CLIENT ADDRS       | IS LEARNER |
+------------------+---------+--------+-------------------------+-------------------------+------------+
|  68e936a39e332ee | started | infra1 | https://11.0.1.145:2380 | https://11.0.1.145:2379 |      false |
| 65d6166ada62ab60 | started | infra0 | https://11.0.1.144:2380 | https://11.0.1.144:2379 |      false |
| 8a036567f69e370a | started | infra2 | https://11.0.1.146:2380 | https://11.0.1.146:2379 |      false |
+------------------+---------+--------+-------------------------+-------------------------+------------+

etcd 集群备份与恢复

插入数据

root@ubuntu:~# etcdctl --endpoints=https://11.0.1.144:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  put /test1 val1
OK
root@ubuntu:~# etcdctl --endpoints=https://11.0.1.144:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  put /test2 val2
OK
root@ubuntu:~# etcdctl --endpoints=https://11.0.1.144:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  put /test1/t1 val1/v1
OK

root@ubuntu:~# etcdctl --endpoints=https://11.0.1.144:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  get --prefix /test
/test1
val1
/test1/t1
val1/v1
/test2
val2

备份 etcd 数据

etcdctl --endpoints=https://11.0.1.144:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  snapshot save /tmp/snapshot.db

scp /tmp/snapshot.db root@11.0.1.145:/tmp/
scp /tmp/snapshot.db root@11.0.1.146:/tmp/

杀掉个节点 etcd 进程

ps -ef | grep infra | grep -v grep | awk '{print $2}' | xargs kill -9
ps -ef | grep etcd

删除 etcd 数据

rm -rf /tmp/etcd

恢复 etcd 数据

node1:

export ETCDCTL_API=3
etcdctl snapshot restore /tmp/snapshot.db \
  --name infra0 \
  --data-dir=/tmp/etcd/infra0 \
  --initial-cluster infra0=https://11.0.1.144:2380,infra1=https://11.0.1.145:2379,infra2=https://11.0.1.146:2379 \
  --initial-cluster-token etcd-cluster-1 \
  --initial-advertise-peer-urls https://11.0.1.144:2380

node2:

export ETCDCTL_API=3
etcdctl snapshot restore /tmp/snapshot.db \
    --name infra1 \
    --data-dir=/tmp/etcd/infra1 \
    --initial-cluster infra0=https://11.0.1.144:2380,infra1=https://11.0.1.145:2380,infra2=https://11.0.1.146:2380 \
    --initial-cluster-token etcd-cluster-1 \
    --initial-advertise-peer-urls https://11.0.1.145:2380

node3:

export ETCDCTL_API=3
etcdctl snapshot restore /tmp/snapshot.db \
  --name infra2 \
  --data-dir=/tmp/etcd/infra2 \
  --initial-cluster infra0=https://11.0.1.144:2380,infra1=https://11.0.1.145:2380,infra2=https://11.0.1.146:2380 \
  --initial-cluster-token etcd-cluster-1 \
  --initial-advertise-peer-urls https://11.0.1.146:2380

重启 etcd

node1:

nohup etcd --name infra0 \
--data-dir=/tmp/etcd/infra0 \
--listen-peer-urls https://11.0.1.144:2380 \
--listen-client-urls https://11.0.1.144:2379 \
--advertise-client-urls https://11.0.1.144:2379 \
--client-cert-auth --trusted-ca-file=/opt/etcd/ssl/ca.pem \
--cert-file=/opt/etcd/ssl/etcd.pem \
--key-file=/opt/etcd/ssl/etcd-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-cert-file=/opt/etcd/ssl/etcd.pem \
--peer-key-file=/opt/etcd/ssl/etcd-key.pem 2>&1 > /var/log/infra0.log &

node2:

nohup etcd --name infra1 \
--data-dir=/tmp/etcd/infra1 \
--listen-peer-urls https://11.0.1.145:2380 \
--listen-client-urls https://11.0.1.145:2379 \
--advertise-client-urls https://11.0.1.145:2379 \
--client-cert-auth --trusted-ca-file=/opt/etcd/ssl/ca.pem \
--cert-file=/opt/etcd/ssl/etcd.pem \
--key-file=/opt/etcd/ssl/etcd-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-cert-file=/opt/etcd/ssl/etcd.pem \
--peer-key-file=/opt/etcd/ssl/etcd-key.pem 2>&1 > /var/log/infra1.log &

node3:

nohup etcd --name infra2 \
--data-dir=/tmp/etcd/infra2 \
--listen-peer-urls https://11.0.1.146:2380 \
--listen-client-urls https://11.0.1.146:2379 \
--advertise-client-urls https://11.0.1.146:2379 \
--client-cert-auth --trusted-ca-file=/opt/etcd/ssl/ca.pem \
--cert-file=/opt/etcd/ssl/etcd.pem \
--key-file=/opt/etcd/ssl/etcd-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-cert-file=/opt/etcd/ssl/etcd.pem \
--peer-key-file=/opt/etcd/ssl/etcd-key.pem 2>&1 > /var/log/infra2.log &

查看集群状态

root@ubuntu:/tmp# etcdctl --endpoints=https://11.0.1.146:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  member list -wtable
+------------------+-----------+--------+-------------------------+-------------------------+------------+
|        ID        |  STATUS   |  NAME  |       PEER ADDRS        |      CLIENT ADDRS       | IS LEARNER |
+------------------+-----------+--------+-------------------------+-------------------------+------------+
|  68e936a39e332ee |   started | infra1 | https://11.0.1.145:2380 | https://11.0.1.145:2379 |      false |
| 65d6166ada62ab60 | unstarted |        | https://11.0.1.144:2380 |                         |      false |
| 8a036567f69e370a |   started | infra2 | https://11.0.1.146:2380 | https://11.0.1.146:2379 |      false |
+------------------+-----------+--------+-------------------------+-------------------------+------------+
root@ubuntu:/tmp# etcdctl --endpoints=https://11.0.1.146:2379  --cacert /opt/etcd/ssl/ca.pem --cert /opt/etcd/ssl/etcd.pem --key /opt/etcd/ssl/etcd-key.pem  get --prefix /
/test1
val1
/test1/t1
val1/v1
/test2
val2

infra0未启动成功, 其余两个节点正常, 原因未知, 待大佬指正

参考:

  1. etcd使用Cfssl生成自签证书(pem) - 西瓜君~ - 博客园 (cnblogs.com)
  2. [svc]证书各个字段的含义 - _毛台 - 博客园 (cnblogs.com)
M·K·T
关注
  • 7
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
etcd构建自身高可用集群
Lzxccas的博客
01-05 641
概述 1.etcd构建自身高可用集群主要有三种形式** 1.静态发现 预先已知etcd集群中有哪些节点，在启动时通过–initial-cluster参数直接指定好etcd的各个节点地址 2.etcd动态发现 静态配置前提是在搭建集群之前已经提前知道各节点的信息，而实际应用中可能存在预先并不知道各节点ip的情况， 这时可通过已经搭建的etcd来辅助搭建新的etcd集群。通过已有的etcd集群作为数据交互点，然后在扩展新的集群时 实现通过已有集群进行服务发现的机制。比如官方提供的：discovery.etcd.
部署一套完整的K8s高可用集群（kubeadm-V1.21）
05-09
部署一套完整的 K8s 高可用集群（kubeadm-V1.21） Kubernetes 作为容器集群系统，通过健康检查+重启策略实现了 Pod 故障自我修复能力，通过调度算法实现将 Pod 分布式部署，并保持预期副本数，根据 Node 失效状态...
【etcd】集群部署
玖拾说架构
03-12 703
修改配置文件中的IP地址为你的集群内机器的IP地址。在etcd目录下，为每个节点创建一个启动脚本，例如。替换为集群配置文件中的peers部分。参见 【etcd 编译与安装】。替换为etcd数据目录的路径，替换为etcd的安装路径，替换为节点IP地址，
Etcd 高可用集群搭建及运维
l65656565的博客
01-08 1052
搭建 etcd 集群一.主机搭建1.编辑第一台节点的etcd.conf文件（1）.删除之前的数据（2）.编辑systemd配置文件（3）.开放端口2.克隆虚拟机（1）.克隆（2）.创建完整克隆 ，不要放在c盘哦（3）打开两台虚拟机并查看各自的IP3.编辑第二台节点的etcd.conf文件（就是刚刚克隆的虚拟机里面的etcd）二.集群测试数据完成同步了，这就表示主机集群已经搭建好了！！！！！！！1.查看所有节点2.以表格的方式查看所有节点。
etcd单机部署和集群部署
最新发布
IChen.的博客
05-10 878
想要在一台机器上部署 etcd 集群，我们可以借助 goreman 这个工具，goreman 是一个 Go 语言编写的多进程管理工具，是对 Ruby 下广泛使用的 foreman 的重写（foreman 原作者也实现了一个 Go 版本：forego，不过没有 goreman 好用）。我们在启动集群的时候，已经知道了各个实例的地址，但是在实际环境中，集群成员的 ip 可能不会提前知道。哈哈，因为 etcd 的部署方式，相对来说还是比较容易的，所以这里偷个懒，大家想看怎么集群部署的话，看文章最后的参考连接。
2 coredns部署和etcd数据备份和恢复
渐行渐远的博客
04-21 337
一 coredns部署 1 coredns.yaml文件获取 coredns.io官网 github上下载二进制https://github.com/coredns/corednshttps://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns/coredns #也可以在这个连接执行下载corednsyaml文件 2...
高可用etcd数据库集群搭建
浅抒流年的博客
06-14 212
高可用etcd数据库集群搭建 etcd集群备份和查看集群状态命令
部署高可用 Etcd 集群
爱死亡机器人
04-07 419
简介 在「etcd使用入门」一文中对etcd的基本知识点和安装做了一个简要的介绍，这次我们来说说如何部署一个etcd集群。 etcd构建自身高可用集群主要有三种形式: 静态发现: 预先已知etcd集群中有哪些节点，在启动时通过–initial-cluster参数直接指定好etcd的各个节点地址。 etcd动态发现:通过已有的etcd集群作为数据交互点，然后在扩展新的集群时实现通过已有集群进行服务发现的机制。比如官方提供的：discovery.etcd.io DNS动态发现: 通过DNS查询方式获取其他节点
Etcd 高可用分布式键值数据库
Jian Sun_的博客
03-25 1148
1、Etcd简介 etcd是CoreOS团队于2016年6月发起的开源项目，他的目标是构建一个高可用的分布式键值(key_value)数据库。Etcd内部采用raft协议作为一致性算法，Etcd是基于Go语言实现的。目前很火的kubernetes等项目都用到etcd组件作为一个高可用分布式键值存储。 etcd作为服务发现系统，有以下特点： 简单： 安装配置简单，而且提供了HTTP API进...
二进制部署k8s高可用集群（二进制-V1.20）.docx
06-29
二进制部署k8s高可用集群（二进制-V1.20） ...二进制部署k8s高可用集群需要准备好环境，部署 Etcd 集群，安装 Docker，实现高可用性等多个步骤。只有通过详细的步骤和配置，才能实现一个高可用的 K8s 集群。
k8s 高可用集群
05-03
k8s 高可用集群安装指南 k8s 高可用集群是一个基于 Kubernetes 的高可用性集群解决方案，旨在提供高可用、高效、可扩展的容器编排服务。本文将详细介绍 k8s 高可用集群的安装步骤，旨在帮助读者快速搭建高可用 k8s ...
一键安装高可用etcd集群（TLS）
11-21
############################################################ # Copyleft ©2018 freetoo(yigui-lu，卢益贵，码客) # name: Deploying etcd clusters(HA, TLS) # 一键安装高可用etcd集群（TLS） # qq/wx: 48092788 e-mail: gcode@qq.com # blog: https://blog.csdn.net/guestcode # create: 2018-11-21 #########################
kubernetes部署etcd集群
01-20
etcd是一个高可用的键值存储系统，kubernetes使用它来存储各个资源的状态，从而实现了Restful的API。 服务器IP/主机名 用途 192.168.122.134/k8s-master1 etcd、kube-apiserver、kube-controller-manager、...
一套完整的K8s高可用集群二进制部署（-V1.20）
10-17
本文档将指导您部署一套完整的 Kubernetes 高可用集群，我们将从基础知识点开始，介绍 Kubernetes 集群的两种部署方式，然后详细介绍如何准备环境、部署 Etcd 集群、安装 Docker、部署 Kubernetes 集群等。...
ETCD 高可用集群 Centos7
大白的专栏
07-08 1418
ETCD 高可用集群 在本地三台虚拟机以static方式搭建ETCD集群测试环境，均为Centos7 一、准备工作 1、主机名及IP 主机名 IP vm5 192.168.56.10 vm6 192.168.56.11 vm7 192.168.56.12 2、安装go lang 1）使用自动安装方式 y...
基于docker的etcd高可用集群部署
weixin_44320761的博客
05-11 362
`工作原理` ETCD使用Raft协议来维护集群内各个节点状态的一致性。简单说，ETCD集群是一个分布式系统，由多个节点相互通信构成整体对外服务，每个节点都存储了完整的数据，并且通过Raft协议保证每个节点维护的数据是一致的。 ...
etcd集群管理
云南小伙闯深圳
05-06 3648
这里要吐槽一下：我用的是3.16，集群相关的好多命令行都已经改变了或者是根本用不了。 再次强调一下：一定关闭防火墙，不然无法加入新节点。 1、增加新节点 第一步： curl http://192.168.75.137:2379/v2/members -XPOST \ -H "Content-Type: application/json" -d '{"peerURLs":["htt
搭建Etcd集群
布史之铭
09-09 314
etcd是一个开源的、分布式的键值对数据存储系统，常用于服务的注册和发现、消息发布与订阅、负载均衡、分布式通知与协调、分布式锁、分布式队列、集群监控与Leader竞选等场景
ETCD集群安装配置及简单应用
mark's technic world
04-24 1195
环境配置CentOS Linux release 7.3.1611 (Core) etcd-v3.2.6192.168.108.128 节点1192.168.108.129 节点2192.168.108.130 节点3ETCD下载https://github.com/coreos/etcd/releases/download/v3.2.6/etcd-v3.2.6-linux-amd64.tar.g...
etcd高可用集群部署流程
02-16
etcd 高可用集群的部署流程如下： 1. 准备足够的机器，并在每台机器上安装好 etcd 软件。 2. 在其中一台机器上初始化 etcd 集群。 3. 在其他机器上加入集群。 4. 配置集群策略，如副本数、故障响应等。 5. 配置监控和告警策略，以监控集群状态并在发生故障时及时通知管理员。 6. 测试集群功能并进行性能调优。 7. 上线部署。 提醒: 高可用集群部署需要根据实际情况进行调整,可能有更多步骤，也可能有调整步骤,在部署之前,了解Etcd各种配置参数和命令,有助于更好的部署.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

M·K·T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值