关于zookeeper和hadoop集群的关联关系

1,zookeeper简介:

zookeeper:在集群中的作用是负责管理集群中·包括(namenode,ReducerManger,的主备切换作用,以及一些分布式组件的配置信息,和状态信息,还提供发布/订阅功能其主要目的就是在zookeeper集群上通过创建znode节点记录集群中一些位置信息,状态信息的变化,然后通过zookeeper的watcher机制把变化的节点中的内容通知到客户端,然后客户端从hadoop集群中hdfs上下载内容到客户端并显示出来。),和负责监控集群的nameNode的状态。

2,zookeeper的主要功能:

主备切换:简单点就是说假如存在两个nameNode,一个nameNode坏了,在zookeeper上的znode节点就会变化,就是被删除了当检测机制检测不到这个节点,就会启动备用nameNode.

zookeeper的中的节点znode是目录也是一个文件,可以存数据,同样也可以在节点中创建节点。

3,关于zookeeper的其他知识点:

zookeeper作为一个元数据的入口,zookeeper的集群是一个数据同步过程,当向zookeeper执行写操作时,如果在follower端发起的写操作,它会把这条写指令转发给leader,leader接受到这条指令后,执行这条指令然后把数据同步到每个follwer上,同步结束后给leader发通知表示同步结束,然后leader给客户端发通知,表示写操作完成(也就是页面显示的"OK"单词)。

4,重要部分:

我感觉zookeeper重要的几个作用是:1,watcher机制的监控节点变化。2,后面的学习有hbase,kafka,都用到zookeeper作为一个监控的作用和它高可用的作用:(高可用的意思简单点说就是配置多个zookeeper,比如有三个zookeeper配置一个集群,一个老大叫leader,两个下属叫follower老大坏了两个小弟重新进行选举,选出一个老大接管任务,这样集群能在很短的时间内回复正常,可以保证zookeeper的容错率,提高集群的安全性。)

5,自我总结:

zookeeper作为一个大数据组件,在各个组件中起到一个桥接的作用相当于一个监控器组件。

其他的知识我会继续总结,不好的地方不要见怪。

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞翔的梦~~~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值