基于二进制方式搭建K8s集群-ETCD篇

10 篇文章 1 订阅
4 篇文章 0 订阅

5、Etcd集群部署

Etcd是一个分布式键值系统,Kubernetes使用Etcd进行数据存储,所以先准备一个Etcd数据库,为解决Etcd单点故障问题,应采用集群方式部署,这里使用3台服务器搭建集群,可容忍1台集群故障。当然,也可以使用5台服务器搭建集群,可容忍2台机器故障。

节点名称IP
etcd-1192.168.0.1
etcd-2192.168.0.2
etcd-3192.168.0.3

注:此处为了节省机器,复用与K8s节点机器。也可以独立与k8s集群之外部署,只要apiserver能连接到即可。

5.1、准备cfssl证书生成工具

下载并准备cfssl证书生成工具;

 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
 #授权
 chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
 mv cfssl_linux-amd64 /usr/local/bin/cfssl
 mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
 mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

5.2、生成Etcd证书

5.2.1、自签证书颁发机构(CA)

在当前目录创建工作文件etcd和k8s;

 mkdir -p ~/TLS/{etcd,k8s}
 cd /TLS/etcd

在这里插入图片描述

  • 自签CA:
【生成CA 配置文件】
#过期时间10年
cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
        "expiry": "87600h",
        "usages": [
          "signing",
          "key encipherment",
          "server auth",
          "client auth"
        ]
      }
    }
  }
}
EOF
#expiry:其中expiry是过期时间,可以指定多个;
#signing:表示该证书可以签名其他证书;
#server auth:表示客户端可以用该证书对服务端进行验证;
#client auth:表示服务端可以用该证书对客户端进行验证;
【生成CA证书签名请求】

cat > ca-csr.json << EOF
{
  "CN": "etcd CA",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "Beijing",
      "ST": "Beijing"
    }
  ]
}
EOF
  • 生成CA证书和私钥:
 #执行命令:生成的ca-key.pem 和 ca.pem分别为私钥和证书
 cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

在这里插入图片描述

5.2.2、使用自签CA签发Etcd Https证书
【创建证书申请文件】

cat > server-csr.json << EOF
{
  "CN": "etcd",
  "hosts": [
    "192.168.0.1",
    "192.168.0.2",
    "192.168.0.3"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "Beijing",
      "ST": "Beijing"
    }
  ]
}
EOF

注:上数文件hosts字段中IP列表为所有etcd集群节点通信IP,一个都不能少。为了方便后期集群扩容,可以多写几个预留的IP

  • 生成证书
 #执行命令:生成server-key.pem  server.pem
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

在这里插入图片描述

5.3、下载Etcd二进制文件

下载地址:https://github.com/etcd-io/etcd/releases/download/v3.4.16/etcd-v3.4.16-linux-amd64.tar.gz

5.4、部署Etcd集群

以下在Master节点操作,为了简化操作,我们将节点1生成的所有文件拷贝倒节点2和节点3;

5.4.1、创建工作目录并解压二进制包
 mkdir /opt/etcd/{bin,cfg,ssl} -p
 #此处将tar.gz包拷贝到/opt目录
 tar zxvf etcd-v3.4.16-linux-amd64.tar.gz
 mv etcd-v3.4.16-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

在这里插入图片描述

5.4.2、生成Etcd配置文件

(1)参数配置说明

  • 历史记录压缩(Auto Compaction Retention):假如将etcd用作服务发现,每次服务注册和更新都可以看做一条新数据,日积月累,这些数据的量会导致etcd占用内存越来越大,直到etcd到达空间配额限制的时候,etcd的写入将会被静止,影响线上服务,定期删除历史记录就是避免这种情况,一般配置为保留1小时的历史数据
  • 空间配额(Auota Backend Bytes):空间配额用来保障集群可靠地运行。如果没有限制配额,当键空间变大之后,直到用光了磁盘空间,就会影响etcd集群的健康。当任意节点超出空间配额, 该节点将进入维护状态,只接受读/删操作。只有释放了足够空间、去碎片化了后端数据库并且清理了空间配额之后,集群才能继续正常操作。默认限制是2GB,最高上限为8GB。
  • 心跳间隔(Heartbeat Interval):它表示leader通知所有的followers,它还是Leader的检测频率。最佳场景实践,应该设置为节点之间网络往返时间(round-trip time)。etcd的默认心跳间隔是100ms,当跨数据中心时,需要调整心跳间隔
  • 选举超时(Election Timeout):它表示follower多久后还没有收到leader的心跳,就进行Leader选举。etcd的默认选举超时是1000ms,当跨数据中心时,需要调整心跳间隔和选举超时时间
 #进入/opt/etcd/cfg执行如下
cat > etcd.conf << EOF  
#[Member]
ETCD_NAME="etcd-1" #其他节点修改etcd-2,和etcd-3
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.1:2380" #当前服务器IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.1:2379,http://127.0.0.1:2379" #当前服务器IP
 
#[Cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.1:2380" #当前服务器IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.1:2379"       #当前服务器IP
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.135:2380,etcd-2=https://192.168.0.208:2380,etcd-3=https://192.168.0.53:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd_cluster"
ETCD_AUTO_COMPACTION_RETENTION=1      #只保留一个小时的历史数据
ETCD_QUOTA_BACKEND_BYTES=8589934592   #默认限制是2GB,推荐8G
ETCD_HEARTBEAT_INTERVAL=100           #默认的心跳时间是100ms    
ETCD_ELECTION_TIMEOUT=1000            #默认选举超时是1000ms
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_ENABLE_V2="true"                 #兼容V2版本,针对flannel需要使用V2

EOF
5.4.3、生成Etcd服务启动文件
#进入/opt/etcd 执行如下
cat > etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \
--cert-file=/opt/etcd/ssl/server.pem \
--key-file=/opt/etcd/ssl/server-key.pem \
--peer-cert-file=/opt/etcd/ssl/server.pem \
--peer-key-file=/opt/etcd/ssl/server-key.pem \
--trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem

Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

EOF
5.4.4、拷贝5.2生成的证书

把4.3节生成的证书拷贝到配置文件中的路径:

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

在这里插入图片描述

5.4.5、拷贝etcd.service到当前节点的启动目录

文件分布位置如下:
在这里插入图片描述

 #进入/opt目录,拷贝文件到启动目录
 cp etcd.service /usr/lib/systemd/system
5.4.6、将当前节点所生成的文件拷贝到节点2和节点3
 #进入/opt目录,执行文件夹和文件拷贝
 #拷贝到节点2
 scp -r /opt/etcd root@192.168.0.2:/opt/
 scp etcd.service root@192.168.0.2:/usr/lib/systemd/system/
 #拷贝到节点3
 scp -r /opt/etcd root@192.168.0.3:/opt/
 scp etcd.service root@192.168.0.3:/usr/lib/systemd/system/

然后分别节点2和节点3分别修改etcd.conf配置文件中的节点名称和当前服务器IP:

 vi /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-2"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.2:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.2:2379,http://127.0.0.1:2379" 
 
#[Cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.2:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.2:2379" 
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.135:2380,etcd-2=https://192.168.0.208:2380,etcd-3=https://192.168.0.53:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd_cluster"
ETCD_AUTO_COMPACTION_RETENTION=1
ETCD_QUOTA_BACKEND_BYTES=8589934592
ETCD_HEARTBEAT_INTERVAL=100       
ETCD_ELECTION_TIMEOUT=1000
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_ENABLE_V2="true"

节点3:

 vi /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-3"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.3:2380" 
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.3:2379,http://127.0.0.1:2379" 
 
#[Cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.3:2380" 
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.3:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.135:2380,etcd-2=https://192.168.0.208:2380,etcd-3=https://192.168.0.53:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd_cluster"
ETCD_AUTO_COMPACTION_RETENTION=1
ETCD_QUOTA_BACKEND_BYTES=8589934592
ETCD_HEARTBEAT_INTERVAL=100       
ETCD_ELECTION_TIMEOUT=1000
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_ENABLE_V2="true"
5.4.7、启动并设置开机启动
 #加载etcd.service服务
 systemctl daemon-reload
 #启动和开机启动enable
 systemctl start etcd
 systemctl enable etcd
 #辅助命令: journalctl -xe               查看启动失败原因
 #辅助命令: systemctl status etcd.service 查看启动状态
 #辅助命令:systemctl restart etcd         重启Etcd

在这里插入图片描述

5.4.8、健康检查
 #集群节点健康检查
 ./etcdctl member list
 #任意节点健康检查
 ./etcdctl endpoint health
 #key-value操作检查
 ./etcdctl put mykey "hello world"
 ./etcdctl get mykey

在这里插入图片描述

5.5、运维

大部分情况下,可能会遇到空间配额不足,那么需要对etcd进行操作。
(1)配额不足处理流程

  • 首先设置临时环境变量,才能进行后续处理操作
 export ETCDCTL_API=3
  • 后续处理操作
    磁盘去碎片化:etcd官方上说在进行compaction操作之后,旧的revision被压缩,会产生内部的碎片,内部碎片是指空闲状态的,能被后端使用但是仍然消耗存储空间的磁盘空间。去碎片化实际上是将存储空间还给文件系统。
 #显示配额情况
 ./etcdctl --write-out=table endpoint status 或./etcdctl --endpoints=127.0.0.1:2379 --write-out=table endpoint status
 #获取当前版本号-如果对旧版本支持才需要执行(可选)
 rev=$(./etcdctl --endpoints=:2379 endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9]*'#压缩所有旧版本-如果对旧版本支持才需要执行(可选)
 ./etcdctl compact $rev
 #去碎片化
 ./etcdctl defrag 或./etcdctl --endpoints=127.0.0.1:2379 defrag
 #取消报警
 ./etcdctl alarm disarm 或./etcdctl --endpoints=127.0.0.1:2379 alarm disarm
 #测试通过
 ./etcdctl put newkey 100

(2)其他

 #查看节点健康状态
 ./etcdctl endpoint health 或 ./etcdctl --endpoints=127.0.0.1:2379 endpoint health 

5.6、注意事项

  • Etcd3.4版本ETCDCTL_API=3,etcdctl 和 etcd_enable_v2 默认值为false,如要兼容使用v2版本,执行etcdctl命令时需设置ETCDCTL_API环境变量,示例:ETCDCTL_API=2 etcdctl;
  • ETCD3.4版本会自动读取并解析环境变量参数,因此EnvironmentFile文件中有的参数,请勿再次在ExecStart启动参数中添加,只能二选一,如同时配置,会触发类似报错“etcd:conflicting environment variable “ETCD_NAME” is shadowed by corresponding command-line flag (either unset environment variable or disable flag)”,可通过journalctl -xe命令查看具体报错详情;
  • 注意:flannel网络插件操作etcd使用的是v2的API,而kubernetes操作etcd使用的v3的API。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Moutai码哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值