etcd快速搭建集群

0. 概述

   1.etcd构建自身高可用集群主要有三种形式：

     静态发现

     预先已知etcd集群中有哪些节点，在启动时通过--initial-cluster参数直接指定好etcd的各个节点地址

     etcd动态发现

     静态配置前提是在搭建集群之前已经提前知道各节点的信息，而实际应用中可能存在预先并不知道各节点ip的情况，

     这时可通过已经搭建的etcd来辅助搭建新的etcd集群。通过已有的etcd集群作为数据交互点，然后在扩展新的集群时

     实现通过已有集群进行服务发现的机制。比如官方提供的：discovery.etcd.io           

     DNS动态发现:

     通过DNS查询方式获取其他节点地址信息

     本文将介绍如何通过静态发现这种方式来部署一个etcd集群，这种方式也是最简单的

   2.安装环境

     CentOS7

     etcd-v3.4.3-linux-amd64.tar.gz

     本章将通过静态方式部署一个3节点的集群， 以下为3台主机信息

     节点名称                   地址(根据自己机器变化)

     node-0                     192.168.183.161

     node-1                     192.168.183.162

     node-2                     192.168.183.163

     注1：通常都是将集群节点部署为3，5，7，9个节点，为什么不能选择偶数个节点？

          1.偶数个节点集群不可用风险更高，表现在选主过程中，有较大概率或等额选票，从而触发下一轮选举。

          2.偶数个节点集群在某些网络分割的场景下无法正常工作。当网络分割发生后，将集群节点对半分割开。

            此时集群将无法工作。按照RAFT协议，此时集群写操作无法使得大多数节点同意，从而导致写失败，集群无法正常工作  

1. 安装etcd

   ##1.创建并切换到下载目录

   ## -p参数作用：没有父目录也可以创建，否则报错

   mkdir -p /usr/local/mytools && cd /usr/local/mytools

   ##2.wget直接下载速度太慢，建议提前下载安装包再用rz上传

   apt install lrzsz

   rz

   ##3.解压文件到当前目录

   tar xzvf etcd-v3.4.3-linux-amd64.tar.gz

   ##4.切换至etcd根目录，运行查看命令ls，里面会有一些文档和2个二进制文件etcd和etcdctl。etcd是server端，etcdctl是客户端

   cd etcd-v3.4.3-linux-amd64 && ls

   ##5.将etcd和etcdctl二进制文件复制到/usr/local/bin目录，why?这样系统中可以直接调用etcd/etcdctl这两个程序

   cp etcd etcdctl /usr/local/bin

   ##6.查看etcd版本

   etcd --version

2. 创建etcd相关目录即数据文件(即数据文件和配置文件的保存目录)

   mkdir -p /var/lib/etcd/ && mkdir -p /etc/etcd/

   

3. 编辑节点node-0配置文件

   vim /etc/etcd/etcd.conf

   详情见：资料/etcd-集群版-v1.0.0.config

   注1：重要的事情说三遍：修改/etc/etcd/etcd.conf文件要先删除/var/lib/etcd目录下保存的数据，再重新启用服务，不然失败

        重要的事情说三遍：修改/etc/etcd/etcd.conf文件要先删除/var/lib/etcd目录下保存的数据，再重新启用服务，不然失败

        重要的事情说三遍：修改/etc/etcd/etcd.conf文件要先删除/var/lib/etcd目录下保存的数据，再重新启用服务，不然失败

        cd /var/lib/etcd && rm -rf *

   注2：ETCD3.4版本中ETCDCTL_API=3和etcd --enable-v2=false成为了默认配置

        flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API

        为了兼容flannel，将默认开启v2版本，故配置文件中还要设置

        ETCD_ENABLE_V2="true"

        ETCD3.4版本ETCDCTL_API=3 etcdctl 和 etcd --enable-v2=false 成为了默认配置，如要使用v2版本，

        执行etcdctl时候需要设置ETCDCTL_API环境变量，例如：ETCDCTL_API=2 etcdctl

4. 节点etcd01创建一个etcd服务

   vim /etc/systemd/system/etcd.service

   详情见：资料/etcd-集群版-v1.0.0.service

   注1：如果是Centos7以上的系统，它都自带了firewalld防火墙，并使用firewalld作为防火墙，则需要开放端口2379和2380

        firewall-cmd --zone=public --add-port=2379/tcp --permanent

        firewall-cmd --zone=public --add-port=2380/tcp --permanent

        #重启防火墙：

        firewall-cmd --reload

        #查询有哪些端口是开启的:

        firewall-cmd --list-port

   注2：etcd 集群搭建，启动时候报错：

        master-16 etcd[25461]: request cluster ID mismatch (got bdd7c7c32bde1208 want 698851d67fea3c17)

        集群ip地址变化后，除了修改/etc/etcd/etcd.conf 文件并重新启用服务外，还需要删除/var/lib/etcd目录下保存的数据；

        解决办法：删除了etcd集群所有节点中的--data_dir的内容，

        分析： 因为集群搭建过程，单独启动过单一etcd做为测试验证，集群内第一次启动其他etcd服务时候，

        是通过发现服务引导的，所以需要删除旧的成员信息

        cd /var/lib/etcd && rm -rf *

      

   注3：集群ip地址变化后，除了修改/etc/etcd/etcd.conf 文件并重新启用服务外，还需要删除/var/lib/etcd目录下保存的数据

        这里面包括两部分的数据，一是etcd数据库数据、二是etcd集成成员信息数据，都要删除

        数据库文件：${name}.etcd

        成员数据文件：member/*

        此处，与注3的错误性质是一样的

5. 为节点etcd02/etcd03重复3、4这两个步骤，记得修改对应的IP

   注1：etcd集群最少要同时启动2个节点，集群才能启动成功

6. 重启etcd服务并查看服务状态

   systemctl daemon-reload

   systemctl enable etcd

   systemctl start etcd

   systemctl status etcd

   systemctl stop etcd

   systemctl restart etcd   

   

   cd /var/lib/etcd && rm -rf *

   systemctl daemon-reload && systemctl restart etcd

   如果启动失败，可通过如下命令查看原因

   ## 显示概要

   systemctl status etcd.service

   ## 查看启动详情

   journalctl -xe

   ## 显示实时日志

   journalctl -f

   ## 查看本机监听端口

   netstat -tunlp|grep etcd

   journalctl -xe -u etcd //查看日志细节

   netstat -nal //查看接口

   分析命令主要包括

   systemctl list-unit-files 列出所有可用的Unit

   systemctl list-units 列出所有正在运行的Unit

   systemctl --failed 列出所有失败单元

   systemctl mask httpd.service 禁用服务

   systemctl unmask httpd.service

   systemctl kill httpd 杀死服务

   cat /var/log/messages | grep nginx

   systemctl查看完整非截断日志显示详细信息详细日志用

   systemctl status etcd.service -l

   systemctl status etcd  -l

  

   

7. 测试集群

   各节点重启启动完成后，在任意节点执行etcdctl member list可列所有集群节点信息，如下所示:

   1.etcdctl命令

     etcdctl member list

     etcdctl member list -w table

     etcdctl endpoint health

     etcdctl endpoint status

   

   2.http命令

     etcdctl --endpoints=http://192.168.199.160:2379,http://192.168.199.157:2379,http://192.168.199.158:2379 endpoint health

     etcdctl --endpoints=http://192.168.116.130:2379 endpoint health

     etcdctl --endpoints=http://192.168.116.130:2379 member list -w table

   

附录一：3.4注意事项

1. ETCD3.4版本ETCDCTL_API=3 etcdctl 和 etcd --enable-v2=false 成为了默认配置，

   如要使用v2版本，执行etcdctl时候需要设置ETCDCTL_API环境变量，例如：

   ETCDCTL_API=2 etcdctl

2. ETCD3.4版本会自动读取环境变量的参数，所以EnvironmentFile文件中有的参数，不需要再次在ExecStart启动参数中添加，

   二选一，如同时配置，会触发以下类似报错

   “etcd: conflicting environment variable "ETCD_NAME" is shadowed by corresponding command-line flag (either unset environment variable or disable flag)”

3. flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API

附录二：linux环境变量的查看

1 使用echo命令查看单个环境变量。例如：

echo $PATH

2 使用env查看所有环境变量。例如：

env

3 使用set查看所有本地定义的环境变量

etcd-集群版-v1.0.1.conf

#########################################################

######  请根据各节点实际情况修改配置：1/3/4/5/6/7  ######

#########################################################

#[Member]

#1.节点名称，必须唯一

ETCD_NAME="etcd01"

#2.设置数据保存的目录

ETCD_DATA_DIR="/var/lib/etcd"

#3.用于监听其他etcd member的url

ETCD_LISTEN_PEER_URLS="http://192.168.106.132:2380"

#4.该节点对外提供服务的地址

ETCD_LISTEN_CLIENT_URLS="http://192.168.106.128:2379,http://127.0.0.1:2379"

#[Clustering]

#5.对外公告的该节点客户端监听地址

ETCD_ADVERTISE_CLIENT_URLS="http://192.168.106.128:2379"

#6.该节点成员对等URL地址，且会通告集群的其余成员节点

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.106.128:2380"

#7.集群中所有节点的信息

ETCD_INITIAL_CLUSTER="etcd01=http://192.168.106.128:2380,etcd02=http://192.168.106.132:2380"

#8.创建集群的token，这个值每个集群保持唯一

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

#9.初始集群状态，新建集群的时候，这个值为new；

ETCD_INITIAL_CLUSTER_STATE="new"

#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API

#   为了兼容flannel，将默认开启v2版本，故配置文件中设置

ETCD_ENABLE_V2="true"

etcd-集群版-v1.0.0.0.service

[Unit]

Description=Etcd Server

Documentation=https://github.com/etcd-io/etcd

After=network.target

[Service]

User=root

Type=notify

## 根据实际情况修改EnvironmentFile和ExecStart这两个参数值

## 1.EnvironmentFile即配置文件的位置，注意“-”不能少

EnvironmentFile=-/etc/etcd/etcd.conf

## 2.ExecStart即etcd启动程序位置

ExecStart=/usr/local/bin/etcd

Restart=always

RestartSec=10s

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target