关闭

如何搭建高可用HBase

标签: hbase
174人阅读 评论(0) 收藏 举报
分类:

1、先决条件

确保Hadoop集群已搭建完成,并运行良好。

准备好HBase的安装包。

2、HBase简介

        HBase是一个分布式的、面向列的开源数据库,就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。它是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase有如下使用场景:

  • 大数据量 (100s TB级数据) 且有快速随机访问的需求。
  • 容量的优雅扩展。
  • 大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。
  • 业务场景简单,不需要关系数据库中很多特性(例如交叉列、交叉表,事务,连接等等)。
  • 优化方面:合理设计rowkey。因为hbase的查询用rowkey是最高效的,也几乎的唯一生产环境可行的方式。所以把你的查询请求转换为查询rowkey的请求。
3、HBase集群搭建


        将HBase的RegionServer部署在3个DN节点上,HBase的HMaster服务部署在NNA和NNS节点,部署2个HMaster保证集群的高可用性,防止单点问题。下面我们开始配置HBase的相关配置,使用独立的ZK,未使用HBase自带的ZK。

#配置hbase-env.sh文件

export JAVA_HOME=/usr/java/jdk1.7

export HBASE_MANAGES_ZK=true

#配置hbase-site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>dn1:2181,dn2:2181,dn3:2181</value>
    <description>The directory shared by RegionServers.
    </description>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hadoop/data/zk</value>
    <description>Property from ZooKeeper config zoo.cfg.
      The directory
      where the snapshot is stored.
    </description>
  </property>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://cluster1/hbase</value>
    <description>The directory shared by RegionServers.
    </description>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    <description>The mode the cluster will be in. Possible values are
      false: standalone and pseudo-distributed setups with managed
      Zookeeper
      true: fully-distributed with unmanaged Zookeeper Quorum (see
      hbase-env.sh)
    </description>
  </property>
</configuration>

#设置regionservers

  • dn1
  • dn2
  • dn3

4、启动集群

$ start-hbase.sh(在NNA节点)

$ hbase-daemon.sh start master(在NNS节点)

注:需要注意的时,在启动集群之前确保各个节点之间的时间是同步的,或者时间差不能太大,若时间差太大,会导致HBase启动失败。

在各个节点输入jps命令查看相关启动进程,各个节点分布的进程如下表所示:

节点 进程
NNA HMaster
NNS HMaster
DN1 RegionServer
DN2 RegionServer
DN3 RegionServer
5、在web端查看集群启动状态

先启动的是NNA的HMaster,所提NNA节点HMaster对外提供服务,截图如下所示:


6、shell操作

$ hbase shell

> list

>scan't'

截图如下:



0
0
查看评论

HBase HA高可用集群搭建及HBase Shell简单使用

1.先搭建Hadoop HA集群(包含ZooKeeper搭建),请看这:Hadoop HA高可用集群搭建(2.7.2) 2.我只有五台机器,所以是这么规划的:drguo1/2 HMaster drguo3/4/5 HRegionServer 3.先在drguo1上安装配置好之后,再拷给2/3/4...
  • Dr_Guo
  • Dr_Guo
  • 2016-03-27 17:28
  • 4381

Hadoop2.7.2高可用(HA)环境下Hbase高可用(HA)环境的搭建(在Ubuntu14.04下以root用户进行配置)

在上次搭建的Hadoop-2.7.2高可用集群基础上搭建高可用HBase,在此记录、分享。
  • qq_23181841
  • qq_23181841
  • 2017-07-14 08:49
  • 724

Hbase完全分布式安装-连接hadoop2 namenode高可用

HostName IP Hadoop HBase            Zookeeper Hive node0 192.168.24.159 NameNode HMaster QuorumPeerMain Hive node1 1...
  • clerk0324
  • clerk0324
  • 2016-11-16 11:14
  • 949

HBase 的 HA (高可用性)

http://www.importnew.com/3020.html        Hadoop与HBase的设计中的从节点能够进行自动错误恢复。因为集群中存在大量的机器,所以很可能出现单台服务器的硬件错误或者单个从节点的异常。     ...
  • lihui6636
  • lihui6636
  • 2014-11-29 10:33
  • 2367

如何构建高可用的分布式系统

在公司做了一次高可用的分享,由于keynote的内容为大纲,特此加点注释说明,分享给大家,水平有限,欢迎拍砖~~ 分布式服务要素          分布式服务主要考虑如下几点: 性能 ...
  • liaokailin
  • liaokailin
  • 2017-03-25 23:18
  • 2021

搭建企业级高可用HBase

本文介绍了HBase的企业级高可用集群的配置方法,并介绍了如何动态增删集群节点。
  • carl810224
  • carl810224
  • 2016-08-10 17:19
  • 6799

搭建一个redis高可用系统

原网址:http://www.jianshu.com/p/c2ab606b00b7 一、单个实例 当系统中只有一台redis运行时,一旦该redis挂了,会导致整个系统无法运行。 单个实例 二、备份 由于单台redis出现单点故障,就会导致整个系统不可用,所...
  • jack__ming
  • jack__ming
  • 2017-05-18 23:08
  • 975

搭建HBase完全分布式(高可用)

HBase分布式搭建(我的配置如下) PC01 PC02 PC03 ZooKeeper ZooKeeper ZooKeeper NameNode NameNode DateNode DateNode DateNode JournalNode JournalNode JournalNode...
  • u011331430
  • u011331430
  • 2018-01-11 17:37
  • 89

Cloudera产品高可用性配置

1. 设置高可用性 4.1 使用QuorumJournalManager进行共享存储 在Cloudera Manager 5中,HA是通过QJM方式实现的。以下步骤演示了如何启用高可用性HDFS,并启用自动故障恢复。 1. 在Cloudera Manager中,进入HDFS Ser...
  • u010022051
  • u010022051
  • 2016-04-21 09:25
  • 1995

Hbase的单机版和高可用版本

搭建高可用的Hbase其实挺简单的,他需要有但是首先,你最好得有HA的hdfs,和zookeeper 1.Hbase的单机版: hbase.rootdir file:///home/testuser/hbase hbase.zookeeper.proper...
  • qq_34292044
  • qq_34292044
  • 2017-11-12 20:18
  • 65
    个人资料
    • 访问:933次
    • 积分:66
    • 等级:
    • 排名:千里之外
    • 原创:6篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档