ZooKeeper在HBase中的运用

翻译 2015年11月21日 16:24:16

一个分布式HBase系统安装依赖于一个运行着的ZooKeeper集群,所有参与的节点和客户端必须能够正常访问运行着的ZooKeeper集群。HBase默认为你提供一个节点的ZooKeeper集群,它会伴随着HBase start/stop进程的启动/停止而启动/停止,当然你也可以运行自己的一个ZooKeeper集群,为了切换是否启用默认ZooKeeper集群,需在conf/hbase-env.sh中将HBASE_MANAGES_ZK的值改为false,默认是ture。
当HBase管理ZooKeeper集群时,你可以在conf/hbase-site.xml上配置ZooKeeper属性,它们的前缀是hbase.zookeeper.property,如hbase.zookeeper.property.clientPort配置clientPort属性。完整的ZooKeeper集群列表参考ZooKeeper的 zoo.cfg文件,当ZooKeeper挂点时,你应该查看该文件。
配置HBase完全分布式系统时,在配置文件hbase-site.xml上你必须用hbase.zookeeper.quorum列出你的机器列表。
下面是关于HBase管理ZooKeeper的实例,注意,你应该配置hbase.zookeeper.property.dataDir属性而不是使用默认值,由于默认值保存数据到/tmp目录,系统重启时就会被清空。

  <configuration>
    ...
    <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2222</value>
      <description>Property from ZooKeeper's config zoo.cfg.
      The port at which the clients will connect.
      </description>
    </property>
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>rs1.example.com,rs2.example.com,rs3.example.com,rs4.example.com,rs5.example.com</value>
      <description>Comma separated list of servers in the ZooKeeper Quorum.
      For example, "host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
      By default this is set to localhost for local and pseudo-distributed modes
      of operation. For a fully-distributed setup, this should be set to a full
      list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK is set in hbase-env.sh
      this is the list of servers which we will start/stop ZooKeeper on.
      </description>
    </property>
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/usr/local/zookeeper</value>
      <description>Property from ZooKeeper's config zoo.cfg.
      The directory where the snapshot is stored.
      </description>
    </property>
    ...
  </configuration>

1 运用现存ZooKeeper系统

为了使HBase指向一个已经存在ZooKeeper集群,在conf/hbase-env.sh中设置HBASE_MANAGES_ZK位置false。

  ...
  # Tell HBase whether it should manage its own instance of Zookeeper or not.
  export HBASE_MANAGES_ZK=false

管理ZooKeeper可以使用HBase的start/stop脚本,如下:

${HBASE_HOME}/bin/hbase-daemons.sh {start,stop} zookeeper

更多启动分布式ZooKeeper集群信息,参考Getting Started Guide

2 ZooKeeper SASL认证

新版本的HBase(>0.92)连接ZooKeeper时支持SASL认证,Zookeeper版本需要3.4.0或以上。参照ZooKeeper SASL

Zookeeper在hbase集群的作用

摘自:http://www.aboutyun.com/thread-6628-1-1.html 什么是Zookeeper,Zookeeper的作用是什么,它与NameNode及HMaster如何协作...
  • shekey92
  • shekey92
  • 2015年07月21日 15:25
  • 1351

zookeeper在hbase集群中的作用

1,hbase regionserver 向zookeeper注册,提供hbase regionserver状态信息(是否在线) 2,hmaster启动时候会将hbase 系统表-ROOT- 加...
  • u013777684
  • u013777684
  • 2014年07月07日 09:07
  • 2048

Hbase,Zookeeper完全分布式安装

前段时间安装配置了hadoop集群,这两天想装个hbase然后用些数据学习学习。网上教程有点多也有点乱,摸索了很久,所以还是记录一下自己的配置经验。过程中看了些博客感觉还是不错的,分享一下: 安装配...
  • sb19931201
  • sb19931201
  • 2016年01月10日 17:50
  • 1649

HBase+ZooKeeper配置

本文转自:http://edu.dataguru.cn/thread-241488-1-1.html,未作修改。 这里有hadoop hbase zookeeper主要关系: ...
  • daxiang12092205
  • daxiang12092205
  • 2016年08月06日 11:21
  • 2021

Zookeeper 在HBase中充当什么样的角色

HBase部署相对是一个较大的动作,其依赖于zookeeper cluster,hadoop HDFS。                 Zookeeper作用在于:        ...
  • vipyeshuai
  • vipyeshuai
  • 2016年03月16日 14:29
  • 688

Hadoop+HBase+ZooKeeper三者关系与安装配置

http://blog.sina.com.cn/s/blog_5c5d5cdf0101dvgq.html
  • u013571243
  • u013571243
  • 2016年04月13日 20:48
  • 2092

浅谈zookeeper的在hbase集群中的作用

一,什么是zookeeper? ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员, Apache Hbase和 Apa...
  • Gamer_gyt
  • Gamer_gyt
  • 2015年08月20日 08:10
  • 2566

HBase安装配置,使用独立zookeeper,shell测试

前言 安装前需要的条件,使用过hadoop的,基本不需要改什么了: 1、java环境 2、hadoop(HBase基于HDFS) 3、zookeeper(我这里使用独立的zookeeper,因为之前用...
  • smile0198
  • smile0198
  • 2013年12月29日 22:40
  • 11563

HBase安装配置,使用独立zookeeper,shell测试

前言 安装前需要的条件,使用过hadoop的,基本不需要改什么了: 1、java环境 2、hadoop(HBase基于HDFS) 3、zookeeper(我这里使用独立的zookeeper,因为之前用...
  • smile0198
  • smile0198
  • 2013年12月29日 22:40
  • 11563

Hbase,Zookeeper完全分布式安装

前段时间安装配置了hadoop集群,这两天想装个hbase然后用些数据学习学习。网上教程有点多也有点乱,摸索了很久,所以还是记录一下自己的配置经验。过程中看了些博客感觉还是不错的,分享一下: 安装配...
  • sb19931201
  • sb19931201
  • 2016年01月10日 17:50
  • 1649
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ZooKeeper在HBase中的运用
举报原因:
原因补充:

(最多只允许输入30个字)