etcd集群更换节点处置方法

最近K8s集群有一台master服务器损坏，需要剔除该节点并新增一台新服务器为master以维持3主。在处置过程中，部署K8s服务没啥问题，但etcd集群的处置费了点劲，在此记录一笔。

etcd集群更新节点处置方法

1. 查看集群成员

[root]# etcdctl  --endpoints=http://10.1.1.10:6666 member list
12f6b86f1ef61557: name=c-etcd0 peerURLs=http://10.1.1.10:6667 clientURLs=http://10.1.1.10:6666 isLeader=true
1a6bc1efd618ab2a: name=c-etcd1 peerURLs=http://10.1.1.11:6667 clientURLs=http://10.1.1.11:6666 isLeader=false
54935869283e606f: name=c-etcd2 peerURLs=http://10.1.1.12:6667 clientURLs=http://10.1.1.12:6666 isLeader=false

2. 剔除故障节点，比如剔除 10.1.1.11

[root]# etcdctl  --endpoints=http://10.1.1.10:6666 member remove 1a6bc1efd618ab2a

3. 添加新节点

[root]# etcdctl  --endpoints=http://10.1.1.20:6666 member add c-etcd1 http://10.1.1.20:6667

4. 启动新节点etcd服务。注意：将配置文件中 --initial-cluster-state 配置为 existing

稍等片刻，新etcd节点将添加到集群。

踩过的坑

我在处置过程中，在旧节点剔除后（剩余2节点），由于我的操作不慎导致集群异常，etcd日志报错

2020-07-25 08:58:47.805983 E | rafthttp: request cluster ID mismatch (got f3b64a4eba6883b2 want 5cf6f380114e0b47)
2020-07-25 08:58:47.907224 E | rafthttp: request cluster ID mismatch (got f3b64a4eba6883b2 want 5cf6f380114e0b47)
2020-07-25 08:58:47.907244 E | rafthttp: request cluster ID mismatch (got f3b64a4eba6883b2 want 5cf6f380114e0b47)

解决方法：
将其中的非主节点也剔除（此时是2节点集群），然后此节点作为新节点重新加回来（同上述新节点添加方法和步骤）。但在该节点加回来后，etcdctl访问集群失败了（一阵紧张），查看etcd日志，报集群节点个数不对（因为配置中写的是3个节点，而此时是2个节点），于是将前面删除的etcd1的配置删去，重启服务，2节点集群恢复正常。然后再添加第三节点，3节点正常后，将配置写回3节点。