六，Kubernetes_v1.14.2部署 etcd 集群

最新推荐文章于 2024-06-15 16:09:18 发布
最新推荐文章于 2024-06-15 16:09:18 发布
阅读量457 收藏
点赞数 1
分类专栏： kubernetes 文章标签： kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40460909/article/details/90524121
版权

etcd 是基于 Raft 的分布式 key-value 存储系统，由 CoreOS 开发，常用于服务发现、共享配置以及并发控制（如 leader 选举、分布式锁等）。kubernetes 使用 etcd 存储所有运行数据。

本文档介绍部署一个三节点高可用 etcd 集群的步骤：

  • 下载和分发 etcd 二进制文件
  • 创建 etcd 集群各节点的 x509 证书，用于加密客户端(如 etcdctl) 与 etcd 集群、etcd 集群之间的数据流
  • 创建 etcd 的 systemd unit 文件，配置服务参数
  • 检查集群工作状态

etcd 集群各节点的名称和 IP 如下：

  • etcd-node-01：172.27.128.11
  • etcd-node-02：172.27.128.12
  • etcd-node-03：172.27.128.13

注意：如果没有特殊指明，本文档的所有操作均在 k8s-master01 节点上执行，然后远程分发文件和执行命令。

 

 

一，下载etcd 二进制文件

wget https://github.com/etcd-io/etcd/releases/download/v3.3.12/etcd-v3.3.12-linux-amd64.tar.gz
#解压
tar -zxvf etcd-v3.3.12-linux-amd64.tar.gz -C /opt/kubernetes/package/
#验证是否解压成功
ls /opt/kubernetes/package/etcd-v3.3.12-linux-amd64/

 

 

二，分发二进制文件

source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
scp /opt/kubernetes/package/etcd-v3.3.12-linux-amd64/etcd* root@${master_ip}:/opt/kubernetes/bin
ssh root@${master_ip} "chmod +x /opt/kubernetes/bin/*"
done
#验证是否分发成功
source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
ssh root@${master_ip} "ls -ld /opt/kubernetes/bin/etcd*"
done

 

 

三，创建 etcd 证书和私钥

创建证书签名请求

cd /opt/kubernetes/ssl
cat > etcd-csr.json << EOF
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
"172.27.128.11",
"172.27.128.12",
"172.27.128.13"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • hosts 字段指定授权使用该证书的 etcd 节点 IP 或域名列表，这里将 etcd 集群的三个节点 IP 都列在其中；

 

 

四，生成证书和私钥

cd /opt/kubernetes/ssl


cfssl gencert -ca=/opt/kubernetes/ssl/ca.pem \
-ca-key=/opt/kubernetes/ssl/ca-key.pem \
-config=/opt/kubernetes/ssl/ca-config.json \
-profile=kubernetes etcd-csr.json | cfssljson -bare etcd
#验证是否生成成功
ls -ld etcd.pem etcd-key.pem

 

 

五，分发生成的证书和私钥到各 etcd 节点

cd /opt/kubernetes/ssl
source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
scp etcd*.pem root@${master_ip}:/opt/kubernetes/ssl
done
#验证是否分发成功
source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
ssh root@${master_ip} "ls -ld /opt/kubernetes/ssl/etcd*.pem"
done

 

 

六，创建ETCD配置文件

source /root/env.sh
cat > etcd.conf << EOF
#[member]
ETCD_NAME="##ETCD_NAME##"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
#ETCD_SNAPSHOT_COUNTER="10000"
#ETCD_HEARTBEAT_INTERVAL="100"
#ETCD_ELECTION_TIMEOUT="1000"
ETCD_LISTEN_PEER_URLS="https://##ETCD_IP##:2380"
ETCD_LISTEN_CLIENT_URLS="https://##ETCD_IP##:2379,https://127.0.0.1:2379"
#ETCD_MAX_SNAPSHOTS="5"
#ETCD_MAX_WALS="5"
#ETCD_CORS=""
#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://##ETCD_IP##:2380"
# if you use different ETCD_NAME (e.g. test),
# set ETCD_INITIAL_CLUSTER value for this name, i.e. "test=http://..."
ETCD_INITIAL_CLUSTER="${ETCD_NODES}"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="k8s-etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://##ETCD_IP##:2379"
#[security]
CLIENT_CERT_AUTH="true"
ETCD_CA_FILE="/opt/kubernetes/ssl/ca.pem"
ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"
ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"
PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_CA_FILE="/opt/kubernetes/ssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"
ETCD_PEER_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"
EOF
#验证是否创建成功
ls -ld etcd.conf

 

 

七，更改配置文件参数

source /root/env.sh
for (( i=0; i < 3; i++ ))
do
sed -e "s/##ETCD_NAME##/${ETCD_NAMES[i]}/" -e "s/##ETCD_IP##/${ETCD_IPS[i]}/" etcd.conf > etcd-${ETCD_IPS[i]}.conf
done
#验证是否更改成功
ls -ld etcd-*.conf

 

  • ETCD_NAMES 和 ETCD_IPS 为相同长度的 bash 数组，分别为节点名称和对应的 IP；

 

 

八，分发ETCD配置文件

source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
scp etcd-${master_ip}.conf root@${master_ip}:/opt/kubernetes/cfg/etcd.conf
done
#验证是否分发成功
source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
ssh root@${master_ip} "ls -ld /opt/kubernetes/cfg/etcd.conf"
done

文件重命名为 etcd.conf

 

 

九，创建ETCD的systemd文件

source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"

ssh root@${master_ip} "cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=etcd
Documentation=https://github.com/coreos/etcd
Conflicts=etcd.service
Conflicts=etcd2.service

[Service]
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0
WorkingDirectory=/var/lib/etcd
EnvironmentFile=-/opt/kubernetes/cfg/etcd.conf
# set GOMAXPROCS to number of processors
ExecStart=/bin/bash -c \"GOMAXPROCS=$(nproc) /opt/kubernetes/bin/etcd\"

[Install]
WantedBy=multi-user.target
EOF"
done
#验证是否创建成功
source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
ssh root@${master_ip} "ls -ld /usr/lib/systemd/system/etcd.service"
done

 

 

十，启动ETCD服务

source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
ssh root@${master_ip} "mkdir /var/lib/etcd"
ssh root@${master_ip} "systemctl daemon-reload && systemctl enable etcd && systemctl restart etcd " &
done
  • 必须创建 etcd 数据目录和工作目录;
  • etcd 进程首次启动时会等待其它节点的 etcd 加入集群，命令 systemctl restart etcd 会卡住一段时间，为正常现象。
  • 如卡住时间过长，可回车键一下

 

 

十一，检查启动ETCD服务结果

source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
ssh root@${master_ip} "systemctl status etcd | grep Active"
done

确保状态为 active (running)，否则查看日志，确认原因

journalctl -u etcd

 

 

十二，验证ETCD集群

etcdctl --endpoints=https://172.27.128.11:2379 \
--ca-file=/opt/kubernetes/ssl/ca.pem \
--cert-file=/opt/kubernetes/ssl/etcd.pem \
--key-file=/opt/kubernetes/ssl/etcd-key.pem cluster-health

#输出均为healthy时表示集群服务正常
member b2ed1e2fa8748a6 is healthy: got healthy result from https://172.27.128.11:2379
member a007153d77aaa744 is healthy: got healthy result from https://172.27.128.13:2379
member cd600e4146d00cbb is healthy: got healthy result from https://172.27.128.12:2379
cluster is healthy

 

 

十三，验证ETCD集群

source /root/env.sh
for master_ip in ${MASTER_IPS[@]}
do
echo -e "\033[31m>>> ${master_ip} \033[0m"
ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl \
--endpoints=https://${master_ip}:2379 \
--cacert=/opt/kubernetes/ssl/ca.pem \
--cert=/opt/kubernetes/ssl/etcd.pem \
--key=/opt/kubernetes/ssl/etcd-key.pem endpoint health
done

#输出均为healthy时表示集群服务正常
>>> 172.27.128.11 
https://172.27.128.11:2379 is healthy: successfully committed proposal: took = 1.456657ms
>>> 172.27.128.12 
https://172.27.128.12:2379 is healthy: successfully committed proposal: took = 1.167191ms
>>> 172.27.128.13 
https://172.27.128.13:2379 is healthy: successfully committed proposal: took = 1.53214ms

 


十四，查看当前的 leader

source /root/env.sh
ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl \
-w table --cacert=/opt/kubernetes/ssl/ca.pem \
--cert=/opt/kubernetes/ssl/etcd.pem \
--key=/opt/kubernetes/ssl/etcd-key.pem \
--endpoints=${ETCD_ENDPOINTS} endpoint status

 

+------------------------------------+---------------------------+--------------+------------+----------------+------------------+-----------------------+
|              ENDPOINT            |                ID              | VERSION | DB SIZE | IS LEADER | RAFT TERM | RAFT  INDEX     |
+------------------------------------+---------------------------+--------------+------------+----------------+------------------+-----------------------+
| https://172.27.128.11:2379 |  b2ed1e2fa8748a6   |    3.3.12    |   20 kB   |     false        |               100 |                       29 |
| https://172.27.128.12:2379 | cd600e4146d00cbb |    3.3.12    |   20 kB   |      true         |               100 |                       29 |
| https://172.27.128.13:2379 | a007153d77aaa744 |    3.3.12    |   20 kB   |     false        |               100 |                       29 |
+------------------------------------+----------------------------+-------------+------------+----------------+-----------------+-----------------------+

  • 可见，当前的 leader 为 172.27.128.12

 

 

LanVv
关注
专栏目录
图解kubernetes容器运行时状态缓存数据结构
jishulaozhuanjia的博客
03-15 389
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 缓存和发布订阅都是后端开发中常用的手段，其中缓存主要是用于可丢失数据的暂存，发布订阅主要是用于消息传递，今天给大家介绍一个k8s中带有发布订阅的缓存实现，其目标是给定一个时间，只关注该时间后续的事件，主要是用于近实时状态数据的获取 1. 业务背景 在k8s中的kubelet中支持不同的容器运行时，为了缓存容器运行时当...
Kubernets_1.14.2的搭建部署【5测无坑】
Daniel_D的博客
11-11 742
这里是不需要存在的目录Kubernets_1.14.2的安装部署环境准备集群机器基础环境部署修改hosts与同步时间修改yum源【如果你能翻墙请无视】建立docker-ee仓库添加参数文件禁用Swap（Kubernetes 1.8开始要求）搭建master安装docker-ce kubelet kubeadm kubectl设置master免密要登录node预先下载docker镜像【如果你可以翻墙...
Kubernetes - 实战：etcd集群
qq_33240556的博客
04-16 313
在Kubernetes实战环境中，etcd集群扮演着至关重要的角色，它是Kubernetes集群的核心数据存储部分，用于保存集群的所有配置数据和状态信息。
Kubernetes部署etcd集群
wyc788788的博客
04-12 559
目录一、 k8s概述1、k8s是什么2、k8s特性3、k8s群集架构与组件4、k8s核心概念二、k8s三种部署方式三、自签SSL证书四、k8s单节点部署（etcd） 一、 k8s概述 1、k8s是什么 kubernetes是Google在2014年开源的一个容器群集管理系统，kubernetes简称k8s k8s用于容器化应用程序的部署，扩展和管理 k8s提供了容器编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能 kubernetes目标是让部署容器化应用简单高效 官方网站：http://www.
kubernetes搭建 二、Etcd集群
光明小学王小雨的博客
03-26 511
etcd需要在master和node上都部署，首先在master上部署，然后把相关的二进制文件和程序拷贝到node上再修改即可 1、下载二进制包然后解压 wget https://github.com/coreos/etcd/releases/download/v3.2.12/etcd-v3.2.12-linux-amd64.tar.gz 2、新建文件夹用来存放k8s相关配置文件和证书，然后把证...
全手动搭建Kubernetes集群——集群规划及Etcd集群部署
Dorte_AZ的博客
04-15 3924
k8s集群之Etcd数据库集群部署
一天入门Kubernetes_K8s：构建Kubernetes集群的关键要素
# 1. Kubernetes简介与基本概念 Kubernetes是一个开源的容器编排引擎，最初由Google开发，旨在管理容器化应用程序。...- Pod：Kubernetes中最小的部署单位，可包含一个或多个容器。 - Node：Kubernetes集
和我一步步部署 kubernetes 集群.pdf
12-28
在提供的部分内容中，文档详细列出了部署Kubernetes集群的步骤列表，包括初始化系统、配置全局变量、创建CA证书和秘钥、部署kubectl命令行工具、etcd集群、flannel网络以及nginx代理作为apiserver的高可用组件。...
Kubernetes 1.14.2手动安装所需要的文件资源
11-24
为了保证高可用性，通常会在多个节点上部署etcd集群。 Flannel则是Kubernetes的网络插件，负责在集群内部提供跨主机的网络通信。它为每个Pod分配一个唯一的IP地址，使它们能够相互通信。Flannel有多种后端实现，如...
一天入门Kubernetes_K8s：掌握Kubernetes高级玩法的技巧
在本章节中，我们将深入了解Kubernetes的基本概念、架构以及与传统部署方式的对比，为读者打下坚实的基础。让我们一起来探索Kubernetes的精彩世界吧！ ## 1.1 Kubernetes的定义和作用 Kubernetes，简称K8s，起源于...
[Kubernetes] etcd 单机和集群部署
最新发布
959
06-15 1020
etcd 单机和集群部署
十二，Kubernetes_v1.14.2部署kube-apiserver集群
Vv的博客
05-29 969
一，下载并解压 #下载 wget https://dl.k8s.io/v1.14.2/kubernetes-server-linux-amd64.tar.gz #解压 tar -zxvf kubernetes-server-linux-amd64.tar.gz -C /opt/kubernetes/package/ #验证是否解压成功 ls /opt/kubernetes/packag...
Kubernetes之（三）核心组件ETCD介绍
weixin_30505751的博客
04-12 252
目录 Kubernetes之（三）核心组件ETCD介绍 ETCD的主要功能 ETCD实用注意事项 1、ETCD cluster初始化的问题 2、ETCD读请求的机制 3、ETCD的compact机制 ETCD的问题 ...
kubernetes 之 二进制安装(三)安装Etcd集群
weixin_34253539的博客
03-12 202
前言Kubernetes 系统使用 Etcd 存储集群配置和一些状态信息。如果单一部署，etcd如果挂了会导致集群异常甚至集群崩溃无法恢复。所以单点部署是很风险的。所以我们要部署Etcd集群项目地址：https://github.com/etcd-io/etcdEtcd集群详解环境说明：etcd1 192.168.214.200etcd2 192.168.214.201etc...
二，Kubernetes_v1.14.2各组件版本
Vv的博客
05-28 501
系统组件版本 操作系统: CentOS 7.6 Kernel: 4.4 Kubernetes: v1.14.2 Docker: 18.09 Etcd: v3.3.12 Flannel: v0.11.0 cni-plugins: v0.7.5 CoreDNS: 1.4.0
(8)二进制文件方式部署Kubernetes高可用集群----------部署高可用ETCD集群
一切有为法，如梦亦如幻，如露亦如电，应作如是观。
07-06 1206
创建高可用etcd集群 Etcd服务作为kubernetes集群的主数据库，保存了整个kubernetes集群的所有服务信息状态，Etcd主数据库需要在kubernetes各服务之前安装和启动。Etcd服务挂了，kubernete集群也将挂掉。这里，我们将Etcd服务部署在master01、master02、master03这三个节点上做高可用，Etcd集群采用Raft算法选举Leader， 由...
八，Kubernetes_v1.14.2部署 flannel 网络
Vv的博客
05-28 849
一，下载和分发 flanneld 二进制文件 #下载 wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz #解压 mkdir /opt/kubernetes/package/flannel_v0.11 tar -zxvf flannel-v0...
Kubernetes安装之三：etcd集群的配置
weixin_34124939的博客
02-14 211
为什么要首先配置etcd集群呢，因为etcd集群是Kubernetes的基础，所有数据都存储在这里1.生成etcd证书其实这里建议使用主机名，避免ip变化而导致的数据库不可用,但是我习惯用ip，为避免证书看起来不那么乱，所以我将不同的证书放置到不同的目录里面cat > /etc/ssl/etcd/etcd-csr.json <<EOF { "CN": "etcd", "...
k8s实践(一)：Centos7.6部署k8s(v1.14.2)集群
weixin_34059951的博客
06-05 451
环境说明： 主机名 操作系统版本 ip docker version kubelet version kubeadm version kubectl version flannel version 备注 master Centos 7.6.1810 172.27.9.131 Docker 18.09.6 V1.14.2 V1.14.2 V1.14.2 V0.11.0 master主机...
Nginx与Tomcat集群部署详解及负载均衡优化
本文档详细介绍了如何在IT环境中利用Nginx和Tomcat构建一个高可用性和高性能的集群架构。主要涉及以下知识点： 1. **环境规划**： - 采用三台服务器进行部署：一台作为Nginx负载均衡服务器，另外两台作为Tomcat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值