ZooKeeper

  使用的CDH版本的5.7.0，这样可以减少各个组件之间的版本冲突问题。ZK提供的是一个分布式协调服务。ZK的使用大的方向：hadoop生态组件的使用，hadoop的生态如HBase、Kafka等都是要使用ZK；其次，ZK API，各种自己的业务需要用到ZK的分布式协调，比如监视节点、各个节点配置文件更新等等。
  ZK的部署还是老三样，解压、添加环境变量、生效。配置，只需要配置zoo.cfg文件：

1、进入配置文件夹
cd $ZK_HOME/conf/
2、考一个配置文件
cp zoo_sample.cfg zoo.cfg
3、配置zoo.cfg文件
更改 dataDir=/home/hadoop/app/tmp/zookeeper

  启动ZK服务：zkServer.sh start。如果想要查看状态：zkServer.sh status，会发现当前的zk是standalone状态；也可以用jps查看启动与否。启动客户端使用：zkCli.sh [-server host:port]。常用的ZK客户端命令：

命令	含义	说明
ls	获取节点路径情况	查看不了节点内容和属性
get	获取节点内容和属性
ls2	获取字节点和属性
create	创建节点	“-e”创建临时节点，“-s”创建序列序列节点（创建相同节点名自己会自增），默认创建永久节点
set	修改数据“set path data [version]”	可以通过版本进行乐观锁
delete	删除节点“delete path [version]”	可以通过版本进行乐观锁

  ZK的基本数据模型，是一个树形结构，每个节点叫做Znode，节点可以存数据，节点下也可以有子节点（临时节点没有子节点）。
  节点Znode又分成两类：永久节点和临时节点。临时节点就当前session存在时存在。
  Znode属性是什么：

名称	含义	说明
cZxid	Znode创建的事务id
ctime	节点创建时间	ctime = Thu Jan 01 08:00:00 CST 1970
mZxid	Znode被修改的事务id，即每次对znode的修改都会更新mZxid
mtime	节点修改时间
pZxid	表示该节点的子节点列表最后一次修改的事务ID，添加子节点或删除子节点就会影响子节点列表，但是修改子节点的数据内容则不影响该ID。该值与孙子节点无关
cversion	子节点的版本号。当znode的子节点有变化时，cversion 的值就会增加1
dataVersion	数据版本号，每次对节点进行set操作，dataVersion的值都会增加1（即使设置的是相同的数据）
aclVersion	ACL的版本号，关于znode的ACL（Access Control List，访问控制）
ephemeralOwner	临时节点拥有者会话ID	如果=0是永久节点，如果是临时节点不为0
dataLength	数据长度	字节数
numChildren	子节点个数

  zxid说明：ZooKeeper状态的每一次改变，都对应着一个递增的Transaction id，该id称为zxid。由于zxid的递增性质，如果zxid1小于zxid2，那么zxid1肯定先于zxid2发生。创建任意节点，或者更新任意节点的数据，或者删除任意节点，都会导致Zookeeper状态发生改变，从而导致zxid的值增加。
  zxid也被用于客户端连接，当Server的zxid都要小于client的ID时，Server会拒绝client的连接，因为自己的状态还没有得到更新，当前节点树状态可能是旧的。

集群

角色	描述
领导者(Leader)	领导者负责进行投票发起和决议
跟随则(Follower)	接收客户端请求，并向客户端返回结果，在选举中参与投票
观察者(Observer)	接收客户端连接，转发请求到Leader，不参与投票，只同步状态

伪分布式配置

  配置伪分布式需要同样的zk程序多份（假设3份），主要是配置zoo.cfg文件，配置每个zk程序的zoo.cfg文件：

1、设置dataDir
dataDir=/home/hadoop/app/tmp/zk001
有多个zk程序就zk002、zk003，依次类推
2、设置客户端端口
clientPort=2181
因为一台机器多个zk，端口不能被占用，依次递增
3、设置zk服务器节点
server.1=hadoop001:2888:3888
server.2=hadoop001:2889:3889
server.3=hadoop001:2890:3890
第一个端口号：服务器leader的服务端口
第二个端口号：服务器选举leader的服务端口

  设置id标识：

在zoo.cfg文件中的
dataDir=/home/hadoop/app/tmp/zk001
这个路径下创建一个文件叫做myid
然后 在文件中输入节点编号，如1

  zk集群中的节点需要获取myid文件内容来标识该节点，缺失则无法启动。

分布式配置

  分布式个伪分布式配置是差不多的，不同点如下：

1、每台机子上的dataDir地址都设置成一样
2、每台机子上的zk服务器节点都设置成
server.x=hadoop001:2888:3888
3、每台机子上${dataDir}路径下有myid文件，每台机子不一样。

编程

  zk的编程可以使用zk的API，但是这个zk的api有很多的局限性，比如watch只有一次性；生产上常用Curator的Api，这个就可以长期多次watch。

经验值

  zk在hadoop集群中的配置数量：

集群主机数量	zookeeper集群数量
<10	3台
10 - 100	5/7台
>100	9/11台