ZooKeeper学习笔记

ZooKeeper- 概述：
1.Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。
2.大数据生态系统里很多组件的命名都是某种动物的昆虫，入Hadoop就是🐘，hive就是🐝。Zookeeper即动物园管理者，故名思义就算管理大数据生态系统各组件的管理员，如图所示。

它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、服务器动态上下线、统一集群管理、分布式应用统一配置管理、软负载均衡等。

简单来说zookeeper=文件系统+监听通知机制。这里的通知机制，从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。从而实现集群中类似Master/Slave管理模式。

安装：网上百度就好了

zookeeper配置文件（zoo.cfg）：
这里有个小问题zoo_sample.cfg 为什么要重名为 zoo.cfg ，可以看下这个文章：
https://www.cnblogs.com/zhangzhonghui/articles/12547376.html

zookeeper配置参数

参数名	说明
clientPort	客户端连接server的端口，即对外服务端口，一般设置为2181
dataDir	存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。数据文件目录+数据持久化路径
tickTime	ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的。例如，session的最小超时时间是2*tickTime
dataLogDir	事务日志输出目录。尽量给事务日志的输出配置单独的磁盘或是挂载点，这将极大的提升ZK性能
globalOutstandingLimit	最大请求堆积数。默认是1000。ZK运行的时候， 尽管server已经没有空闲来处理更多的客户端请求了，但是还是允许客户端将请求提交到服务器上来，以提高吞吐性能。当然，为了防止Server内存溢出，这个请求堆积数还是需要限制下的
preAllocSize	预先开辟磁盘空间，用于后续写入事务日志。默认是64M，每个事务日志大小就是64M。如果ZK的快照频率较大的话，建议适当减小这个参数。
snapCount	每进行snapCount次事务日志输出后，触发一次快照(snapshot), 此时，ZK会生成一个snapshot.文件，同时创建一个新的事务日志文件log.。默认是100000.（真正的代码实现中，会进行一定的随机数处理，以避免所有服务器在同一时间进行快照而影响性能）
traceFile	用于记录所有请求的log，一般调试过程中可以使用，但是生产环境不建议使用，会严重影响性能
maxClientCnxns	单个客户端与单台服务器之间的连接数的限制，是ip级别的，默认是60，如果设置为0，那么表明不作任何限制。请注意这个限制的使用范围，仅仅是单台客户端机器与单台ZK服务器之间的连接数限制，不是针对指定客户端IP，也不是ZK集群的连接数限制，也不是单台ZK对所有客户端的连接数限制。指定客户端IP的限制策略
clientPortAddress	对于多网卡的机器，可以为每个IP指定不同的监听端口。默认情况是所有IP都监听 clientPort 指定的端口。
minSessionTimeoutmaxSessionTimeout	Session超时时间限制，如果客户端设置的超时时间不在这个范围，那么会被强制设置为最大或最小时间。默认的Session超时时间是在2 * tickTime ~ 20 * tickTime 这个范围
fsync.warningthresholdms	事务日志输出时，如果调用fsync方法超过指定的超时时间，那么会在日志中输出警告信息。默认是1000ms
autopurge.purgeInterval	ZK提供了自动清理事务日志和快照文件的功能，这个参数指定了清理频率，单位是小时，需要配置一个1或更大的整数，默认是0，表示不开启自动清理功能
autopurge.snapRetainCount	这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个
electionAlg
initLimit	Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许F在 initLimit 时间内完成这个工作。通常情况下，我们不用太在意这个参数的设置。如果ZK集群的数据量确实很大了，F在启动的时候，从Leader上同步数据的时间也会相应变长，因此在这种情况下，有必要适当调大这个参数了
syncLimit	在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。如果L发出心跳包在syncLimit之后，还没有从F那里收到响应，那么就认为这个F已经不在线了。注意：不要把这个参数设置得过大，否则可能会掩盖一些问题。
leaderServes	默认情况下，Leader是会接受客户端连接，并提供正常的读写服务。但是，如果你想让Leader专注于集群中机器的协调，那么可以将这个参数设置为no，这样一来，会大大提高写操作的性能
server.x=[hostname]:nnnnn[:nnnnn]	这里的x是一个数字，与myid文件中的id是一致的。右边可以配置两个端口，第一个端口用于Follower和Leader之间的数据同步和其它通信，第二个端口用于Leader选举过程中投票通信
group.x=nnnnn[:nnnnn]weight.x=nnnnn	对机器分组和权重设置
cnxTimeout	Leader选举过程中，打开一次连接的超时时间，默认是5s
zookeeper.DigestAuthenticationProvider
.superDigest	ZK权限设置相关，具体参见
skipACL	对所有客户端请求都不作ACL检查。如果之前节点上设置有权限限制，一旦服务器上打开这个开头，那么也将失效。
forceSync	这个参数确定了是否需要在事务日志提交的时候调用 FileChannel .force来保证数据完全同步到磁盘
jute.maxbuffer	每个节点最大数据量，是默认是1M。这个限制必须在server和client端都进行设置才会生效

Zookeeper - 常用命令

1. 新增节点：

	语法：create [-s] [-e] path data # -s 有序节点 | -e 临时节点
	例子：
		创建持久化节点并写入数据：create /java "helloworld"
		创建持久化有序节点并写入数据：create -s /a "a"
		创建临时节点并写入数据：create -e /b "b"
		创建临时有序节点并写入数据：create -s -e /c "c"

2. 更新节点：

	语法：set path data [版本号]
	例子：
		修改节点java的值：set /java "zookeeper"
		基于版本号修改(如果版本号不对应则修改失败)：set /java "no" 2

4. 删除节点：

	语法：
		delete path [版本号] # 节点下面有子节点的话就无法删除
		deleteall path # 连同节点下的子节点一并删除
	例子：
		 删除java节点：delete /java
		基于版本号删除(如果版本号不对应则删除失败)：delete /java 1
		连同子节点一并删除：deleteall /java

5. 查询节点：

	语法：
		get path # 值 + 节点信息
		stat ptah # 节点信息
		ls ptah  # 查询节点的子节点
		ls2 path # 查询子节点并返回当前节点的信息

ZooKeeper - 监听器

get path watch：
	使用 get path watch 注册的监听器能够在节点内容发生改变的时候，向客户端发出通知。需要注意的是 zookeeper 的触发器是一次性的 (One-time trigger)，即触发一次后就会立即失效。
	
stat path watch：
	 使用 stat path watch 注册的监听器能够在节点状态发生改变的时候，向客户端发出通知。

ls path watch / ls2 path watch：
	使用 ls path watch 或 ls2 path watch 注册的监听器能够监听该节点下所有子节点的增加和删除操作。

Zookeeper - Acl权限控制

概述： zookeeper类似文件系统，client可以创建节点、删除节点，那么如何做到节点的权限控制呢？

zookeeper的access control list访问控制列表可以做到这一点。
acl权限控制使用：scheme: id: permission来标识，主要涵盖三个方面：
1.权限模式（scheme）：授权的策略
2.授权对象（id）：授权的对象
3.权限（permission）：授予的权限

其特性如下：
zookeeper的权限控制是基于每个zonde节点的，需要对每个节点设置权限。
每个znode支持设置多种权限控制发难和多个权限。
字节点不会继承父节点的权限，客户端无权访问某个节点，但可能可以访问它的子节点。