在hadoop集群中对ZooKeeper和Hbase的安装与配置
前置需要安装配置好hadoop
hadoop的安装与配置传送门
zookeeper的定义与作用
.zk的作用
分布协调服务,解决分布式服务在工作时产生的问题
1)竞态条件 //多个主机同时对一个文件进行操作,俗称抢资源
2)死锁: //多个主机互相等待对方完成
3)不一致性: //资源文件丢失或者主机宕机
hadoop的namenode的高可用,也就是在多namenode 情况下,对namenode 管理节点的active以及standby,具体是:
在zk启动的情况下再启动hadoop
的hdfs
文件系统时,zk会根据自身的领袖推选机制,建立一个active
的namenode
,此时该namenode
节点的active存放在ActiveStandbyElectorLock
结点(zk的结点存储位置),它是临时结点,也就是负责存储active
状态下的节点地址.而zk中的另一个节点ActiveBreadCrumb
是永久结点,它存储的active
的节点信息,当zk会话关闭或者中断时,再次启动,通过领袖推选机制获取的active
节点首先会与永久节点储存的信息做比较,如果此时的推选出来的active
与永久结点上的信息一样,则不做任何操作,如果信息不一样,zk会首先将之前永久结点上存储的namenode
的状态改为standby
,然后再去修改新的active
的节点信息,以完成正确分配active
节点,避免脑裂(brain-split
),即两个active节点状态的问题
Hbase的定义与作用
HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
hbase是列式的分布式数据库
hbase依赖zookeeper
1、 保存Hmaster的地址和backup-master地址
hmaster:
a) 管理HregionServer
b) 做增删改查表的节点
c) 管理HregionServer中的表分配
2、 保存表-ROOT-的地址
hbase默认的根表,检索表。
3、 HRegionServer列表
表的增删改查数据。
和hdfs交互,存取数据
Hbase 和zookeeper的安装与配置
zookeeper 的安装与配置
1,选用版本zookeeper-3.4.6.tar.gz
,可自行百度下载
2,解压到opt目录下并改名(三个机器都需要安装)
[root@hadoop122 software]# tar -zxf zookeeper-3.4.6.tar.gz -C /opt
[root@hadoop122 opt]# mv zookeeper-3.4.6 zookpr
3,在主机下配置conf文件
修改zoo.cfg文件
把原来文件夹中的zoo_sample.cfg改名为zoo.cfg
[root@hadoop102 opt]# cd zookpr/conf/
[root@hadoop102 conf]# mv zoo_sample.cfg zoo.cfg
[root