k8s环境下etcd分布式数据库集群配置，数据存储与发现

1. 什么是etcd？
   etcd是一个分布式一致性键值存储系统，用于共享配置和服务发现，
   etcd基于raft协议实现数据同步（K-V数据），集群由多个节点组成。

   raft协议理解起来相比paxos并没有简单到哪里，因为都很难理解，所以我简单描述一下：

      每次写入都是在一个事务（tx）中完成的。
      一个事务（tx）可以包含若干put（写入k-v键值对）操作。
      etcd集群有一个leader，写入请求都会提交给它。
      leader先将数据保存成日志形式，并定时的将日志发往其他节点保存。
      当超过1/2节点成功保存了日志，则leader会将tx最终提交（也是一条日志）。
      一旦leader提交tx，则会在下一次心跳时将提交记录发送给其他节点，其他节点也会提交。
      leader宕机后，剩余节点协商找到拥有最大已提交tx ID（必须是被超过半数的节点已提交的）的节点作为新leader。
      
   这里最重要的是知道：

      raft中，后提交的事务ID>先提交的事务ID，每个事务ID都是唯一的。
      无论客户端是在哪个etcd节点提交，整个集群对外表现出数据视图最终都是一样的。

 

2. 通过kubespray部署的 host etcd cluster  (etcd v3.2.26)

    /bin/bash /usr/local/bin/etcd

    cat /usr/local/bin/etcd   // 通过docker容器启动了etcd
        #!/bin/bash
        /usr/bin/docker run \
        --restart=on-failure:5 \
        --env-file=/etc/etcd.env \      // 这个是主要的配置文件
        --net=host \
        -v /etc/ssl/certs:/etc/ssl/certs:ro \
        -v /etc/ssl/etcd/ssl:/etc/ssl/etcd/ssl:ro \
        -v /var/lib/etcd:/var/lib/etcd:rw \
        --memory=512M \
        --blkio-weight=1000 \
        --name=etcd1 \
        quay.io/coreos/etcd:v3.2.26 \
        /usr/local/bin/etcd \
        "$@"

 

3. 集群配置

    /etc/etcd.env配置文件有集群的信息：
    ETCD_INITIAL_CLUSTER=etcd1=https://192.168.2.89:2380,etcd2=https://192.168.2.90:2380,etcd3=https://192.168.2.91:2380

    --data-dir：服务运行数据保存的路径   //数据路径，如何备份？
    --snapshot-count：指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘
    --heartbeat-interval：leader 多久发送一次心跳到 followers。默认值是 100ms
    --eletion-timeout：重新投票的超时时间，如果follower在该时间间隔没有收到心跳包，会触发重新投票，默认为 1000 ms
    --listen-peer-urls：和同伴通信的地址，比如 http://ip:2380，如果有多个，使用逗号分隔。需要所有节点都能够访问，所以不要使用 localhost
    --advertise-client-urls：对外公告的该节点客户端监听地址，这个值会告诉集群中其他节点
    --listen-client-urls：对外提供服务的地址：比如 http://ip:2379,http://127.0.0.1:2379，客户端会连接到这里和etcd交互
    --initial-advertise-peer-urls：该节点同伴监听地址，这个值会告诉集群中其他节点
    --initial-cluster：集群中所有节点的信息，格式为 node1=http://ip1:2380,node2=http://ip2:2380,…。需要注意的是，这里的 node1 是节点的--name指定的名字；后面的ip1:2380 是--initial-advertise-peer-urls 指定的值
    --initial-cluster-state：新建集群的时候，这个值为 new；假如已经存在的集群，这个值为existing
    --initial-cluster-token：创建集群的token，这个值每个集群保持唯一。

    kube-apiserver这个容器进程，会带有etcd相关的参数：

    --etcd-cafile=/etc/ssl/etcd/ssl/ca.pem --etcd-certfile=/etc/ssl/etcd/ssl/node-k8s-master-2.pem --etcd-keyfile=/etc/ssl/etcd/ssl/node-k8s-master-2-key.pem --etcd-servers=https://192.168.2.89:2379,https://192.168.2.90:2379,https://192.168.2.91:2379

    （有两个端口：2379,2380； 2379是用来给客户端访问服务的，对外的。2380是集群节点间通信的，对内的）

 

4. 数据存储与发现
    
    ETCDCTL_API=3 etcdctl member list

    watch 监听
        watch 会监听key的变动 有变动时会在输出。这也正是服务发现需要使用的。

    我们监听 test键，然后对test执行修改和删除操作
    ETCDCTL_API=3 etcdctl watch test

    命令使用：
        export ETCDCTL_API=3
        
        etcdctl --help
        --cert=""    identify secure client using this TLS certificate file
        --key=""    identify secure client using this TLS key file

        cd  /etc/ssl/etcd/ssl
        
        // 集群成员
        etcdctl --cert=./ca.pem --key=./ca-key.pem member list  
        
        // 集群状态
        etcdctl --cert=./ca.pem --key=./ca-key.pem  --endpoints 192.168.2.89:2379,192.168.2.90:2379,192.168.2.91:2379 endpoint status  --write-out="table"   

        ETCDCTL_API=3 etcdctl --cert=./ca.pem --key=./ca-key.pem  put  test1 a
        ETCDCTL_API=3 etcdctl put test2 b
        ETCDCTL_API=3 etcdctl put test3 c
        ETCDCTL_API=3 etcdctl  --cert=./ca.pem --key=./ca-key.pem get --prefix test

        export ETCDCTL_API=3

        etcdctl  --cert=./ca.pem --key=./ca-key.pem put /json/user/a1 12
        etcdctl  --cert=./ca.pem --key=./ca-key.pem put /json/user/a2 13
        etcdctl  --cert=./ca.pem --key=./ca-key.pem watch --prefix  /json

        // k8s API对象
        get /registry/namespaces --prefix -w=fields
        get /registry/configmaps --prefix -w=fields
        get /registry/pods --prefix -w=fields

        get /registry/namespaces/default -w=json|python -m json.tool
        get /registry/namespaces --prefix -w=json|python -m json.tool