Zookeeper大数据领域的万金油
就目前我学习到的大数据领域相关的框架而言,zookeeper的身影真可谓无处不在,希望看了我文章的同学,能意识到zookeeper在整个大数据学习中的重要作用,从而认真学习,奥利给!!!
0.zk在hadoop中的作用
为Namenode和ResourceManager提供高可用服务
1.zk在hbase中的作用
存储meta表的元信息
Hmaster的选举和Hmaster的管理工作都是依赖于Zookeeper的。
Hmaster的职能:
是集群所有RegionServer的管理者,负责表的DDL操作
分配regions到每个RegionServer,监控每个RegionServer的状态,负载均衡和故障转移
2.zk在kafka中的作用
Controller的选举和Controller的管理工作都是依赖于Zookeeper的。
Kfaka的数据会存储在Zookeeper上,
比如集群的broker信息(有哪些borker.id),
每个broker的每个topic信息(leader是谁,ISR集合有哪些等),
0.9版本之前消费者的Offset也在Zookeeper上存储,不过0.9版本之后存在Kafka的一个内置的topic上了
Controller的职能:
Kafka集群中有一个broker会被选举为Controller,
负责管理集群broker的上下线、所有topic的分区副本分配和leader选举等工作。