zookeeper分布式应用程序协调服务

  • ZooKeeper是一个分布式的应用程序协调服务
  • ZooKeeper是Hadoop和Hbase的重要组件,Hbase和ZooKeeper之间具有强依赖的关系.
  • ZooKeeper为分布式应用提供一致性服务,它的功能包括:配置维护/域名服务/分布式同步/组服务和分布式锁的服务等.
  • ZooKeeper角色图

在这里插入图片描述

  • 各服务器和Leader发生数据交换,Leader保证集群的数据同步
  • Follower和Leader可以选举Leader
  • Leader(领导者)负责投票和决定
  • Flower(跟随者)负责将请求转发给leader,返回结果,参与投票
  • ObServer(观察者)负责将请求转发leader,ObSserver不参与投票,只数据同步,定位是扩展系统弄和提高读取速度
  • ZooKeeper的特点

数据一致
可靠:消息备一台服务器接受,就被其他所有服务器接受
独立性:服务器间互不干预
实时性,客户端得到的数据不一定是最新的,用sync接口可以获得最新数据
独立性
原子性,请求如果不成功就失败,没有中间转台
顺序性,服务器发布消息的顺序一致

  • YARN资源管理任务调度流程
    -在这里插入图片描述
  • 客户端提交一个任务或者请求或者操作给yarn的ResourceManager资源管理,ResourceManager掌握整个集群的资源
  • ResourceManager会根据它掌握的信息,随机找一台DateNode启动ApplicationMater进行任务调度.
  • ApplicationMaster启动后,开始任务调度,向ResourceManager请求资源,用来启动进程(Executor),执行任务
  • ResourceManager将任务的资源信息返回给ApplicationMaster
  • ApplicationMaster获得资源信息 , 去执行任务.去指定的DateNode启动进程,然后对应的资源返回给客户端
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值