zookeeper分布式应用程序协调服务

• ZooKeeper是一个分布式的应用程序协调服务
• ZooKeeper是Hadoop和Hbase的重要组件,Hbase和ZooKeeper之间具有强依赖的关系.
• ZooKeeper为分布式应用提供一致性服务,它的功能包括:配置维护/域名服务/分布式同步/组服务和分布式锁的服务等.
• ZooKeeper角色图

• 各服务器和Leader发生数据交换,Leader保证集群的数据同步
• Follower和Leader可以选举Leader
• Leader(领导者)负责投票和决定
• Flower(跟随者)负责将请求转发给leader,返回结果,参与投票
• ObServer(观察者)负责将请求转发leader,ObSserver不参与投票,只数据同步,定位是扩展系统弄和提高读取速度

• ZooKeeper的特点

数据一致
可靠:消息备一台服务器接受,就被其他所有服务器接受
独立性:服务器间互不干预
实时性,客户端得到的数据不一定是最新的,用sync接口可以获得最新数据
独立性
原子性,请求如果不成功就失败,没有中间转台
顺序性,服务器发布消息的顺序一致

• YARN资源管理任务调度流程
  -
• 客户端提交一个任务或者请求或者操作给yarn的ResourceManager资源管理,ResourceManager掌握整个集群的资源
• ResourceManager会根据它掌握的信息,随机找一台DateNode启动ApplicationMater进行任务调度.
• ApplicationMaster启动后,开始任务调度,向ResourceManager请求资源,用来启动进程(Executor),执行任务
• ResourceManager将任务的资源信息返回给ApplicationMaster
• ApplicationMaster获得资源信息 , 去执行任务.去指定的DateNode启动进程,然后对应的资源返回给客户端