weixin_42749734的博客

第七部分 Hadoop HA 7.1 HA概述 所谓HA(High Available)，即⾼可用(7*24⼩时不中断服务)。 实现⾼可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)。 NameNode主要在以下两个⽅方⾯面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软

第六部分 Zookeeper应用实践 ZooKeeper是一个典型的发布/订阅模式的分布式数据管理与协调框架，我们可以使用它来进⾏分布式数据的发布与订阅。另一⽅面，通过对ZooKeeper中丰富的数据节点类型进行交叉使用，配合Watcher 事件通知机制，可以⾮常⽅便地构建一系列分布式应⽤中都会涉及的核心功能，如数据发布/订阅、命名服务、集群管理理、Master选举、分布式锁和分布式队列等。那接下来就针对这些典型的分布式应用场景来做下介绍 Zookeeper的两大特性: 客户端如果对Zookee.

第五部分 zookeeper内部原理 5.1 Leader选举 选举机制 半数机制:集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。 Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper⼯作时，是有一个节点为Leader，其它为Follower，Leader是通过内部的选举机制产生的。 集群⾸次启动 假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点

第四部分 zookeeper的基本使用 4.1 zookeeper命令行操作 ⾸先，进⼊到zookeeper的bin⽬录：cd /opt/lagou/servers/zookeeper-3.4.14/bin/ # 连接本地的zookeeper服务器 ./zkcli.sh # 连接指定的服务器 ./zkCli.sh -server ip:port(2181) 连接成功之后，系统会输出Zookeeper的相关环境及配置信息等信息。输入help之后，屏幕会输出可用的Zookeeper命令，如下图所示

第三部分 zookeeper数据结构与监听机制 ZooKeeper数据模型Znode 在ZooKeeper中，数据信息被保存在⼀个个数据节点上，这些节点被称为znode。ZNode 是 Zookeeper 中最⼩数据单位，在 ZNode 下面又可以再挂 ZNode，这样⼀层层下去就形成了一个层次化命名空间ZNode树，我们称为ZNode Tree，它采⽤了类似⽂件系统的层级树状结构进行管理。见下图示例: 在Zookeeper中，每⼀个数据节点都是一个ZNode，上图根⽬录下有两个节点，分别是ap.

第二部分 zookeeper环境搭建 2.1 zookeeper的搭建方式 Zookeeper安装⽅式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上，适合测试环境; ■ 伪集群模式:就是在⼀台服务器上运⾏多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体” 2.2 zookeeper集群搭建 下载 ⾸先我们下载稳定版本的zookeeper：http://zookee

分布式协调服务框架—zookeeper 第一部分 zookeeper简介 1.1 zookeeper是什么？ Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题， 例如怎样避免同时操作同⼀数据造成脏读的问题。分布式系统中数据存在一致性的问题!! ZooKeeper本质上是一个分布式的小文件存储系统。 提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理理。 ZooKeeper提供给客户端监控存储在zk内部数据的功能，从而可以