CentOS 7搭建etcd集群(静态发现)

背景

搭建k8s集群之前要先建立etcd集群，因此就先搞一下etcd吧。

环境准备

集群数量此次使用3台CentOS 7系列机器，其实就是7.3，7.4，7.5，为啥没用7.2呢，因为不兼容，文章最后面有解释。

节点名称	节点IP
master	192.168.0.100
node1	192.168.0.101
node2	192.168.0.102

前提

搭建etcd集群时需要将防火墙关闭，否则节点间无法通信，使用以下命令关闭防火墙和禁止开机启动。

systemctl stop firewalld.service //关闭防火墙
systemctl disable firewalld.service //禁止开机启动

安装etcd

在CentOS上软件安装很简单，直接使用yum命令，

yum install etcd -y

配置etcd集群

etcd的配置文件为：/etc/etcd/etcd.conf，三台环境的配置如下：

master的配置：

#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
ETCD_NAME="master"
#
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.100:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.100:2379,http://192.168.0.100:4001"
ETCD_INITIAL_CLUSTER="master=http://192.168.0.100:2380,node1=http://192.168.0.101:2380,node2=http://192.168.0.102:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

node1的配置：

#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
ETCD_NAME="node1"
#
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.101:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.101:2379,http://192.168.0.101:4001"
ETCD_INITIAL_CLUSTER="master=http://192.168.0.100:2380,node1=http://192.168.0.101:2380,node2=http://192.168.0.102:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

node2的配置：

#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
ETCD_NAME="node2"
#
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.102:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.102:2379,http://192.168.0.102:4001"
ETCD_INITIAL_CLUSTER="master=http://192.168.0.100:2380,node1=http://192.168.0.101:2380,node2=http://192.168.0.102:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

各个配置的说明如下：

ETCD_DATA_DIR：数据存储目录
ETCD_LISTEN_PEER_URLS：与其他节点通信时的监听地址列表，通信协议可以是http、https
ETCD_LISTEN_CLIENT_URLS：与客户端通信时的监听地址列表
ETCD_NAME：节点名称
ETCD_INITIAL_ADVERTISE_PEER_URLS：节点在整个集群中的通信地址列表，可以理解为能与外部通信的ip端口
ETCD_ADVERTISE_CLIENT_URLS：告知集群中其他成员自己名下的客户端的地址列表
ETCD_INITIAL_CLUSTER：集群内所有成员的地址，这就是为什么称之为静态发现，因为所有成员的地址都必须配置
ETCD_INITIAL_CLUSTER_TOKEN：初始化集群口令，用于标识不同集群
ETCD_INITIAL_CLUSTER_STATE：初始化集群状态，new表示新建

测试集群

配置完后，在三台环境上启动etcd服务，

 systemctl start etcd

然后查看集群节点信息，

[root@CentOS-7-3 ~]# etcdctl member list
9148b70e8c09dda7: name=master peerURLs=http://192.168.0.100:2380 clientURLs=http://192.168.0.100:2379,http://192.168.0.100:4001 isLeader=true
94da6adc7e389c7b: name=node1 peerURLs=http://192.168.0.101:2380 clientURLs=http://192.168.0.101:2379,http://192.168.0.101:4001 isLeader=false
cab12768ca3506a9: name=node2 peerURLs=http://192.168.0.102:2380 clientURLs=http://192.168.0.102:2379,http://192.168.0.102:4001 isLeader=false

接下来我们简单测试一下功能，在master上设置一个键值，在其余两台环境上查询该键值。

假设我们设置这样一个键值对 hello：world，

[root@CentOS-7-3 ~]# etcdctl set  hello world
world

[root@CentOS-7-4 ~]# etcdctl get hello
world

[root@CentOS-7-5 ~]# etcdctl get hello
world

可见集群内的节点的数据是一致同步的。

注意事项

这里有两个坑要注意，

1、etcd2和etcd3不兼容，不兼容啊，也就是CentOS 7.2不能和7.3，7.4，7.5组建集群，偏偏我一开始就是这样搞的，坑得不要不要的。

2、更换节点时切记要把原来节点的数据目录删了，

rm -rf /var/lib/etcd/default.etcd/*

不然会使用历史节点信息，集群也无法建立，一直报cluster id not match啥的。