K8S-Demo集群实践04：部署etcd三节点高可用集群

最新推荐文章于 2024-04-16 04:13:32 发布
最新推荐文章于 2024-04-16 04:13:32 发布
阅读量672 收藏
点赞数
分类专栏： k8s-demo 文章标签： etcd 分布式 k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jasonhe2018/article/details/112803351
版权

K8S-Demo集群实践04：部署etcd三节点高可用集群

  • ETCD 是基于Raft算法的分布式，一致性的KV存储系统，由CoreOS公司发起的一个开源项目，授权协议为Apache。
  • 通过前面环境变量你已经知道了集群节点名称和IP
    • master1：192.168.66.10
    • master2：192.168.66.11
    • master3：192.168.66.12
  • 如果没有特殊说明，本文档的所有操作均在master1节点上执行
  • k8s-demo采用 Etcd v3.4.x版本
  • 如果跨主机通讯方案选择flanneld，则需要将Etcd降级到v3.3.x版本

一、下载和分发etcd二进制文件

[root@master1 ~]# cd /opt/install/soft
[root@master1 soft]# wget https://github.com/coreos/etcd/releases/download/v3.4.3/etcd-v3.4.3-linux-amd64.tar.gz
[root@master1 soft]# tar -xvf etcd-v3.4.3-linux-amd64.tar.gz
[root@master1 soft]# for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp /opt/install/soft/etcd-v3.4.3-linux-amd64/etcd* root@${node_ip}:/opt/k8s/bin
    ssh root@${node_ip} "chmod +x /opt/k8s/bin/*"
  done

二、配置etcd服务

1、准备服务模板

[root@master1 ~]# cd /opt/install/service
[root@master1 service]# cat > etcd.service.template <<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=${ETCD_DATA_DIR}
ExecStart=/opt/k8s/bin/etcd \\
  --data-dir=${ETCD_DATA_DIR} \\
  --wal-dir=${ETCD_WAL_DIR} \\
  --name=##NODE_NAME## \\
  --cert-file=/opt/k8s/etc/etcd/cert/etcd.pem \\
  --key-file=/opt/k8s/etc/etcd/cert/etcd-key.pem \\
  --trusted-ca-file=/opt/k8s/etc/cert/ca.pem \\
  --peer-cert-file=/opt/k8s/etc/etcd/cert/etcd.pem \\
  --peer-key-file=/opt/k8s/etc/etcd/cert/etcd-key.pem \\
  --peer-trusted-ca-file=/opt/k8s/etc/cert/ca.pem \\
  --peer-client-cert-auth \\
  --client-cert-auth \\
  --listen-peer-urls=https://##NODE_IP##:2380 \\
  --initial-advertise-peer-urls=https://##NODE_IP##:2380 \\
  --listen-client-urls=https://##NODE_IP##:2379,http://127.0.0.1:2379 \\
  --advertise-client-urls=https://##NODE_IP##:2379 \\
  --initial-cluster-token=etcd-cluster-0 \\
  --initial-cluster=${ETCD_NODES} \\
  --initial-cluster-state=new \\
  --auto-compaction-mode=periodic \\
  --auto-compaction-retention=1 \\
  --max-request-bytes=33554432 \\
  --quota-backend-bytes=6442450944 \\
  --heartbeat-interval=250 \\
  --election-timeout=2000
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

2、为每个节点生产服务配置文件

[root@master1 ~]# cd /opt/install/service
[root@master1 service]# for (( i=0; i < 3; i++ ))
  do
    sed -e "s/##NODE_NAME##/${MASTER_NAMES[i]}/" -e "s/##NODE_IP##/${MASTER_IPS[i]}/" etcd.service.template > etcd-${MASTER_IPS[i]}.service 
  done

3、分发服务配置文件到3个Master节点

[root@master1 ~]# cd /opt/install/service
[root@master1 service]# for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp etcd-${node_ip}.service root@${node_ip}:/etc/systemd/system/etcd.service
  done

4、启动Etcd服务

[root@master1 ~]# for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p ${ETCD_DATA_DIR} ${ETCD_WAL_DIR}"
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable etcd && systemctl restart etcd "
  done
  • 如果遇到错误，请检查etcd数据目录和工作目录是否创建成功

三、检查etcd服务状态

1、检查etcd服务是否成功启动

[root@master1 ~]# for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status etcd|grep Active"
  done
  • 确保状态为active (running)，否则查看日志:
[root@master01 ~]# journalctl -u etcd

2、检查etcd服务健康状况

[root@master1 ~]# for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    /opt/k8s/bin/etcdctl \
    --endpoints=https://${node_ip}:2379 \
    --cacert=/opt/k8s/etc/cert/ca.pem \
    --cert=/opt/k8s/etc/etcd/cert/etcd.pem \
    --key=/opt/k8s/etc/etcd/cert/etcd-key.pem endpoint health
  done
  • 预期输出

>>> 192.168.66.10
https://192.168.66.10:2379 is healthy: successfully committed proposal: took = 6.196779ms
>>> 192.168.66.11
https://192.168.66.11:2379 is healthy: successfully committed proposal: took = 7.343025ms
>>> 192.168.66.12
https://192.168.66.12:2379 is healthy: successfully committed proposal: took = 7.327491ms

3、查看当前Leader节点

[root@master1 ~]# /opt/k8s/bin/etcdctl \
  -w table --cacert=/etc/kubernetes/cert/ca.pem \
  --cert=/opt/k8s/etc/etcd/cert/etcd.pem \
  --key=/opt/k8s/etc/etcd/cert/etcd-key.pem \
  --endpoints=${ETCD_ENDPOINTS} endpoint status

预期输出

±---------------------------±-----------------±--------±--------±----------±-----------±----------±-----------±-------------------±-------+
| ENDPOINT | ID | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
±---------------------------±-----------------±--------±--------±----------±-----------±----------±-----------±-------------------±-------+
| https://192.168.66.10:2379 | b2f5e996ff142369 | 3.4.3 | 20 kB | true | false | 112 | 15 | 15 | |
| https://192.168.66.11:2379 | 8aac12c9432579ff | 3.4.3 | 20 kB | false | false | 112 | 15 | 15 | |
| https://192.168.66.12:2379 | eee70ab8f420a137 | 3.4.3 | 20 kB | false | false | 112 | 15 | 15 | |
±---------------------------±-----------------±--------±--------±----------±-----------±----------±-----------±-------------------±-------+

  • 当前的leader为192.168.66.10

四、etcdctl命令介绍

# 存入
etcdctl put key value
# 读取
etcdctl get key
# 区间查找
etcdctl get key1  key2
# 只读取key的值
etcdctl get --print-value-only key
# 读取key开头的数据
etcdctl get --prefix key
# 读取所有key
etcdctl get / --prefix --keys-only
# 从key开始读取后面的数据
etcdctl get --from-key key
# 查找所有的key-value
etcdctl get --from-key ""
# 删除
etcdctl del key
etcdctl del --prev-kv key
etcdctl del --prev-kv --from-key key
etcdctl del --prev-kv --prefix key
# 删除所有数据
etcdctl del --prefix ""
  • 参考 https://www.cnblogs.com/doscho/p/6252556.html

五、etcd备份和恢复

# 备份快照：可以定期执行
etcdctl snapshot save /data/backup/xxxx.db
# 恢复步骤
1、关闭所有Master节点的 Etcd服务 systemctl stop etcd
2、备份 ETCD 存储目录下数据
3、拷贝 ETCD 备份快照到每个Etcd节点
4、在每个节点执行恢复命令
ETCDCTL_API=3 etcdctl snapshot restore /data/backup/etcd-snapshot-xxxxx.db \
  --name etcd-0 \
  --initial-cluster "master1=https://192.168.66.10:2380,master2=https://192.168.66.11:2380,master3=https://192.168.66.12:2380" \
  --initial-cluster-token etcd-cluster \
  --initial-advertise-peer-urls https://192.168.66.10:2380 \
  --data-dir=/var/lib/etcd/default.etcd
  • 参考 https://zhuanlan.zhihu.com/p/101523337
  • 集群的状态数据都存储在Etcd中，及时备份，完善的恢复流程和脚本很重要

附：K8s-Demo集群版本信息

组件版本命令
kubernetes1.18.5kubectl version
docker-ce19.03.11docker version 或者 rpm -qa | grep docker
etcd3.4.3etcdctl version
calico3.13.3calico -v
coredns1.7.0coredns -version

附：专栏链接

K8S-Demo集群实践00：搭建镜像仓库Harbor+安全扫描
K8S-Demo集群实践01：准备VMware虚拟机模板
K8S-Demo集群实践02：准备VMware虚拟机3台Master+3台Node
K8S-Demo集群实践03：准备集群各组件间HTTPS通讯需要的x509证书
K8S-Demo集群实践04：部署etcd三节点高可用集群
K8S-Demo集群实践05：安装kubectl并配置集群管理员账户
K8S-Demo集群实践06：部署kube-apiserver到master节点（3个无状态实例）
K8S-Demo集群实践07：kube-apiserver高可用方案
K8S-Demo集群实践08：部署高可用kube-controller-manager集群
K8S-Demo集群实践09：部署高可用kube-scheduler集群
K8S-Demo集群实践10：部署ipvs模式的kube-proxy组件
K8S-Demo集群实践11：部署ipvs模式的kube-kubelet组件
K8S-Demo集群实践12：部署Calico网络
K8S-Demo集群实践13：部署集群CoreDNS
K8S-Demo集群实践14：部署集群监控服务Metrics Server
K8S-Demo集群实践15：部署Kubernetes Dashboard
K8S-Demo集群实践16：部署Kube-Prometheus
K8S-Demo集群实践17：部署私有云盘owncloud（10.6版本）
K8S-Demo集群实践18：构建宇宙中第一个基础容器镜像

  • 先用起来，通过操作实践认识k8s，积累多了自然就理解了
  • 把理解的知识分享出来，自造福田，自得福缘
  • 追求简单，容易使人理解，知识的上下文也是知识的一部分，例如版本，时间等
  • 欢迎留言交流，也可以提出问题，一般在周末回复和完善文档
  • Jason@vip.qq.com 2021-1-19。
jasonhe2018
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kubernetes部署etcd集群
01-20
etcd是一个高可用的键值存储系统，kubernetes使用它来存储各个资源的状态，从而实现了Restful的API。 服务器IP/主机名 用途 192.168.122.134/k8s-master1 etcd、kube-apiserver、kube-controller-manager、kube-scheduler 192.168.122.135/k8s-node1 etcd、kubelet、docker、kube_proxy 192.168.122.136/k8s-node2 etcd、kubelet、docker、kube_proxy 下载3个工具 wget
etcd+tls集群部署文档
松果177的博客
12-13 1023
etcd+tls集群部署文档   前言 kubeadm安装的集群，默认etcd是一个单机的容器化的etcd，这里改造成三节点的etcd集群。 首先我们需要先部署一个三节点的etcd集群，二进制部署，systemd守护进程，并且需要生成ca证书。   ETCD集群详情 kuberntes 系统使用 etcd 存储所有数据，此外calico网络也使用该etcd集群，本文档介绍部署一个三节点高...
k8s的核心组件etcd的安装使用、快照说明及etcd命令详解【含单节点，多节点和新节点加入说明】(1)
最新发布
2301_79058522的博客
04-16 863
整个快照恢复过程略显复杂，但上面这些操作是可以写成脚本的，用脚本一键恢复。无证书快照创建与恢复学习视频：《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！k8s中的etcd文件存储位置其实上面配置文件中有说明，容器中etcd的存储位置是：自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
k8s高可用环境部署3(Etcd)
漠效的博客
03-29 1829
前言 环境和部分软件已经配置好了，接着要部署一个Etcd集群。Etcd 通常是和master部署在一起,也有人会将 etcd独立于 k8s集群之外,以便于更好地扩展etcd集群。而此次是部署在3个master上。 下面是关于Etcd的一些简单介绍: Etcd节点数： etcd 是基于raft算法的分布式键值数据库,在做决策时需要超半数节点的投票,所以 etcd集群 一般推荐奇数节点(3,5,7);etcd是高可用的,3节点etcd集群,最大容忍1台机器宕机。根据网上的资料还可以得出2个结论：设置偶数
k8s 简单demo--部署 tomcat
天青如水的博客
08-30 5110
版本 根据参考资料1,2，下载 docker desktop 后，开启 Kubernetes 服务。当前版本为2.3.0.4， Kubernetes 为 v1.16.5。 通过 kubectl get nodes 命令可以看到节点情况，这里只有一个Master节点。 准备工作 创建一个单独的目录，来存放案例所需的文件 mkdir k8s-demo && cd k8s-demo 构建镜像 这里直接用名docker pull tomcat 下载 tomcat，需要对tomcat 镜像进行修
k8s 3master节点做高可用-无坑版
qq_40573385的博客
01-10 540
搭建k8s 3master节点做高可用超详细无坑版
custom-k8s-sdn-demo：自定义Kubernetes SDN演示
02-05
Minikube简化了K8s的部署，使得用户可以快速启动一个单节点集群，用于实验或学习目的。 "k8s"是Kubernetes的缩写，它是一个开源的容器管理系统，用于自动化容器的部署、扩展和管理。Kubernetes网络模型的核心概念...
tr-k8s-demo
02-16
标题“tr-k8s-demo”表明这是一个与Kubernetes（K8s）相关的项目示例，很可能是用于演示或教学目的。结合描述中的“github_jenkins”，我们可以推断这个项目是集成Jenkins持续集成/持续部署（CI/CD）工具与...
dcos-k8s-rust-kaffold-demo
02-28
使用Skaffold在DC / OS上将Rust部署到Kubernetes 这是一个演示项目，使用将 Web应用程序的开发通过管道 。 如果您还不熟悉DC / OS或Kubernetes，请参阅... 为了开发此演示，使用了具有3个公共节点和3个私有节点的集群。
k8s-for-docker-desktop：为Mac专用的Docker桌面Windows打开Kubernetes和Istio-在中国的Docker桌面上启用KubernetesIstio
02-02
在IT行业中，Kubernetes（通常简称为k8s）是一种广泛应用的容器编排系统，它允许用户管理和部署容器化的应用程序。Docker Desktop是Docker公司提供的一个集成开发环境，为开发者在本地提供了一个轻量级的平台来运行...
k8s资源发布demo
11-03
总的来说，"k8s资源发布demo"是一个实用的学习工具，它让我们有机会亲手实践k8s的各种操作，掌握如何编写和应用yaml文件，从而更好地理解和掌握kubernetes的核心功能。在探索这个demo时，结合官方文档和其他教程，你...
k8s集群部署 | 三节点（复用）高可用集群过程参考
小鲸鱼大梦想
05-08 3123
自我环境的一个可用于生产环境的高可用k8s集群，三master节点复用，记录了搭建过程
全手动搭建Kubernetes集群——集群规划及Etcd集群部署
Dorte_AZ的博客
04-15 3810
k8s集群之Etcd数据库集群部署
K8S集群搭建简单示例
Admin
11-01 625
#配置镜像加速器，重启docker mkdir -p /etc/docker tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://zmnwbg20.mirror.aliyuncs.com"] } EOF systemctl daemon-reload systemctl restart docker #安装kubelet kubeadm kubectl，--nogpgcheck表示跳过公钥检查 yum i
K8S demo
justsomebody126的专栏
01-27 257
转自：https://blog.csdn.net/hahaxu/article/details/79772296 kubernetes 从一个简单例子开始 参考 《kubernetes 权威指南》一节的 从一个简单例子开始，操作实录。 一、描述 创建一个简单的Java web程序，此 Java Web 应用 的 结构 比较 简单， 是一 个 运行 在 Tomcat 里 的 Web App，...
使用helm安装etcd集群
邢宁
01-29 4179
1、添加helm仓库 helm repo add bitnami https://charts.bitnami.com/bitnami helm pull bitnami/etcd #可以看到安装包已下载到本地 2、解压安装包 tar zxf etcd-6.13.2.tgz 3、修改配置 cd etcd #修改密码 #修改存储方式 persistence: ## @param persistence.enabled If true, use a Persistent Volume Claim.
k8s 配置ingress 并做一个demo
weitao_11的博客
02-28 575
• k8s 配置好之后除了 nodeport 以外都是对集群内部的行为 • 使用nodeport 并不是很友好，要自己处理很多的端口管理 • 使用ingress 可以更好的整合配置服务
k8s 集群中的etcd故障解决
weixin_30475039的博客
03-26 3361
一次在k8s集群中创建实例发现etcd集群状态出现连接失败状况，导致创建实例失败。于是排查了一下原因。 问题来源 下面是etcd集群健康状态： [root@docker01 ~]# cd /opt/kubernetes/ssl/ [root@docker01 ssl]# /opt/kubernetes/bin/etcdctl \ > --ca-file=ca.pem --cer...
etcd安装和所遇到的坑
weixin_30555753的博客
04-19 5353
首先参照 https://www.cnblogs.com/lyzw/p/6016789.html来安装 　　虚拟机：VMware® Workstation 12 Pro 　　系统：CentOS Linux release 7.2.1511 (Core)3.10.0-327.el7.x86_64 由于刚开始学习k8s，本次软件的安装，我们都采用最简单的方式，能用yum 安装的尽量采...
部署一套完整的K8s高可用集群（kubeadm-V1.21）
05-09
本文将详细介绍如何部署一套完整的K8s高可用集群（kubeadm-V1.21）。在生产环境中，部署Kubernetes集群通常有两种方式，一种是使用kubeadm工具，另一种是从GitHub下载二进制包手动部署。本文将采用kubeadm搭建集群的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值