基于二进制方式搭建K8s集群-ETCD篇

5、Etcd集群部署

Etcd是一个分布式键值系统，Kubernetes使用Etcd进行数据存储，所以先准备一个Etcd数据库，为解决Etcd单点故障问题，应采用集群方式部署，这里使用3台服务器搭建集群，可容忍1台集群故障。当然，也可以使用5台服务器搭建集群，可容忍2台机器故障。

节点名称	IP
etcd-1	192.168.0.1
etcd-2	192.168.0.2
etcd-3	192.168.0.3

注：此处为了节省机器，复用与K8s节点机器。也可以独立与k8s集群之外部署，只要apiserver能连接到即可。

5.1、准备cfssl证书生成工具

下载并准备cfssl证书生成工具；

 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
 #授权
 chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
 mv cfssl_linux-amd64 /usr/local/bin/cfssl
 mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
 mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

5.2、生成Etcd证书

5.2.1、自签证书颁发机构(CA)

在当前目录创建工作文件etcd和k8s;

 mkdir -p ~/TLS/{etcd,k8s}
 cd /TLS/etcd

• 自签CA：

【生成CA 配置文件】
#过期时间10年
cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
        "expiry": "87600h",
        "usages": [
          "signing",
          "key encipherment",
          "server auth",
          "client auth"
        ]
      }
    }
  }
}
EOF
#expiry：其中expiry是过期时间，可以指定多个;
#signing：表示该证书可以签名其他证书;
#server auth：表示客户端可以用该证书对服务端进行验证;
#client auth：表示服务端可以用该证书对客户端进行验证；

【生成CA证书签名请求】

cat > ca-csr.json << EOF
{
  "CN": "etcd CA",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "Beijing",
      "ST": "Beijing"
    }
  ]
}
EOF

• 生成CA证书和私钥：

 #执行命令：生成的ca-key.pem 和 ca.pem分别为私钥和证书
 cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

5.2.2、使用自签CA签发Etcd Https证书

【创建证书申请文件】

cat > server-csr.json << EOF
{
  "CN": "etcd",
  "hosts": [
    "192.168.0.1",
    "192.168.0.2",
    "192.168.0.3"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "Beijing",
      "ST": "Beijing"
    }
  ]
}
EOF

注：上数文件hosts字段中IP列表为所有etcd集群节点通信IP，一个都不能少。为了方便后期集群扩容，可以多写几个预留的IP。

• 生成证书

 #执行命令：生成server-key.pem  server.pem
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

5.3、下载Etcd二进制文件

下载地址：https://github.com/etcd-io/etcd/releases/download/v3.4.16/etcd-v3.4.16-linux-amd64.tar.gz

5.4、部署Etcd集群

以下在Master节点操作，为了简化操作，我们将节点1生成的所有文件拷贝倒节点2和节点3；

5.4.1、创建工作目录并解压二进制包

 mkdir /opt/etcd/{bin,cfg,ssl} -p
 #此处将tar.gz包拷贝到/opt目录
 tar zxvf etcd-v3.4.16-linux-amd64.tar.gz
 mv etcd-v3.4.16-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

5.4.2、生成Etcd配置文件

（1）参数配置说明

• 历史记录压缩(Auto Compaction Retention)：假如将etcd用作服务发现，每次服务注册和更新都可以看做一条新数据，日积月累，这些数据的量会导致etcd占用内存越来越大，直到etcd到达空间配额限制的时候，etcd的写入将会被静止，影响线上服务，定期删除历史记录就是避免这种情况，一般配置为保留1小时的历史数据。
• 空间配额(Auota Backend Bytes)：空间配额用来保障集群可靠地运行。如果没有限制配额，当键空间变大之后，直到用光了磁盘空间，就会影响etcd集群的健康。当任意节点超出空间配额， 该节点将进入维护状态，只接受读/删操作。只有释放了足够空间、去碎片化了后端数据库并且清理了空间配额之后，集群才能继续正常操作。默认限制是2GB，最高上限为8GB。
• 心跳间隔(Heartbeat Interval)：它表示leader通知所有的followers，它还是Leader的检测频率。最佳场景实践，应该设置为节点之间网络往返时间(round-trip time)。etcd的默认心跳间隔是100ms，当跨数据中心时，需要调整心跳间隔；
• 选举超时(Election Timeout)：它表示follower多久后还没有收到leader的心跳，就进行Leader选举。etcd的默认选举超时是1000ms，当跨数据中心时，需要调整心跳间隔和选举超时时间。

 #进入/opt/etcd/cfg执行如下
cat > etcd.conf << EOF  
#[Member]
ETCD_NAME="etcd-1" #其他节点修改etcd-2,和etcd-3
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.1:2380" #当前服务器IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.1:2379,http://127.0.0.1:2379" #当前服务器IP
 
#[Cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.1:2380" #当前服务器IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.1:2379"       #当前服务器IP
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.135:2380,etcd-2=https://192.168.0.208:2380,etcd-3=https://192.168.0.53:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd_cluster"
ETCD_AUTO_COMPACTION_RETENTION=1      #只保留一个小时的历史数据
ETCD_QUOTA_BACKEND_BYTES=8589934592   #默认限制是2GB,推荐8G
ETCD_HEARTBEAT_INTERVAL=100           #默认的心跳时间是100ms    
ETCD_ELECTION_TIMEOUT=1000            #默认选举超时是1000ms
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_ENABLE_V2="true"                 #兼容V2版本,针对flannel需要使用V2

EOF

5.4.3、生成Etcd服务启动文件

#进入/opt/etcd 执行如下
cat > etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \
--cert-file=/opt/etcd/ssl/server.pem \
--key-file=/opt/etcd/ssl/server-key.pem \
--peer-cert-file=/opt/etcd/ssl/server.pem \
--peer-key-file=/opt/etcd/ssl/server-key.pem \
--trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem

Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

EOF

5.4.4、拷贝5.2生成的证书

把4.3节生成的证书拷贝到配置文件中的路径：

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

5.4.5、拷贝etcd.service到当前节点的启动目录

文件分布位置如下：

 #进入/opt目录，拷贝文件到启动目录
 cp etcd.service /usr/lib/systemd/system

5.4.6、将当前节点所生成的文件拷贝到节点2和节点3

 #进入/opt目录，执行文件夹和文件拷贝
 #拷贝到节点2
 scp -r /opt/etcd root@192.168.0.2:/opt/
 scp etcd.service root@192.168.0.2:/usr/lib/systemd/system/
 #拷贝到节点3
 scp -r /opt/etcd root@192.168.0.3:/opt/
 scp etcd.service root@192.168.0.3:/usr/lib/systemd/system/

然后分别节点2和节点3分别修改etcd.conf配置文件中的节点名称和当前服务器IP：

 vi /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-2"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.2:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.2:2379,http://127.0.0.1:2379" 
 
#[Cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.2:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.2:2379" 
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.135:2380,etcd-2=https://192.168.0.208:2380,etcd-3=https://192.168.0.53:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd_cluster"
ETCD_AUTO_COMPACTION_RETENTION=1
ETCD_QUOTA_BACKEND_BYTES=8589934592
ETCD_HEARTBEAT_INTERVAL=100       
ETCD_ELECTION_TIMEOUT=1000
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_ENABLE_V2="true"

节点3：

 vi /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-3"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.3:2380" 
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.3:2379,http://127.0.0.1:2379" 
 
#[Cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.3:2380" 
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.3:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.135:2380,etcd-2=https://192.168.0.208:2380,etcd-3=https://192.168.0.53:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd_cluster"
ETCD_AUTO_COMPACTION_RETENTION=1
ETCD_QUOTA_BACKEND_BYTES=8589934592
ETCD_HEARTBEAT_INTERVAL=100       
ETCD_ELECTION_TIMEOUT=1000
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_ENABLE_V2="true"

5.4.7、启动并设置开机启动

 #加载etcd.service服务
 systemctl daemon-reload
 #启动和开机启动enable
 systemctl start etcd
 systemctl enable etcd
 #辅助命令： journalctl -xe               查看启动失败原因
 #辅助命令： systemctl status etcd.service 查看启动状态
 #辅助命令：systemctl restart etcd         重启Etcd

5.4.8、健康检查

 #集群节点健康检查
 ./etcdctl member list
 #任意节点健康检查
 ./etcdctl endpoint health
 #key-value操作检查
 ./etcdctl put mykey "hello world"
 ./etcdctl get mykey

5.5、运维

大部分情况下，可能会遇到空间配额不足，那么需要对etcd进行操作。
（1）配额不足处理流程

• 首先设置临时环境变量，才能进行后续处理操作

 export ETCDCTL_API=3

• 后续处理操作
  磁盘去碎片化：etcd官方上说在进行compaction操作之后，旧的revision被压缩，会产生内部的碎片，内部碎片是指空闲状态的，能被后端使用但是仍然消耗存储空间的磁盘空间。去碎片化实际上是将存储空间还给文件系统。

 #显示配额情况
 ./etcdctl --write-out=table endpoint status 或./etcdctl --endpoints=127.0.0.1:2379 --write-out=table endpoint status
 #获取当前版本号-如果对旧版本支持才需要执行(可选)
 rev=$(./etcdctl --endpoints=:2379 endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9]*'）
 #压缩所有旧版本-如果对旧版本支持才需要执行(可选)
 ./etcdctl compact $rev
 #去碎片化
 ./etcdctl defrag 或./etcdctl --endpoints=127.0.0.1:2379 defrag
 #取消报警
 ./etcdctl alarm disarm 或./etcdctl --endpoints=127.0.0.1:2379 alarm disarm
 #测试通过
 ./etcdctl put newkey 100

（2）其他

 #查看节点健康状态
 ./etcdctl endpoint health 或 ./etcdctl --endpoints=127.0.0.1:2379 endpoint health 

5.6、注意事项

• Etcd3.4版本ETCDCTL_API=3，etcdctl 和 etcd_enable_v2 默认值为false，如要兼容使用v2版本，执行etcdctl命令时需设置ETCDCTL_API环境变量，示例：ETCDCTL_API=2 etcdctl；
• ETCD3.4版本会自动读取并解析环境变量参数，因此EnvironmentFile文件中有的参数，请勿再次在ExecStart启动参数中添加，只能二选一，如同时配置，会触发类似报错“etcd:conflicting environment variable “ETCD_NAME” is shadowed by corresponding command-line flag (either unset environment variable or disable flag)”，可通过journalctl -xe命令查看具体报错详情；
• 注意：flannel网络插件操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API。