大数据之05HBase完全分布式集群搭建

大数据之05HBase完全分布式集群搭建

1. HBase定义 ：HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。
但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。

第一步：环境准备

1.Hadoop正常部署

需要保证Hadoop集群的正常部署并启动：
[tan@hadoop102 hadoop-3.1.3]$ start-dfs.sh
[tan@hadoop103 hadoop-3.1.3]$ start-yarn.sh

2.Zookeeper正常部署

需要保证Zookeeper集群的正常部署，并启动：
[tan@hadoop102 zookeeper]$ zkServer.sh start
[tan@hadoop103 zookeeper]$ zkServer.sh start
[tan@hadoop104 zookeeper]$ zkServer.sh start

一切正常部署成功后，节点如下：

[tan@daoop102 ~]$ jpsall
========    hadoop102    ========
24871 DataNode
24713 NameNode
11066 QuorumPeerMain
========    hadoop103    ========
9797 QuorumPeerMain
20910 DataNode
========    hadoop104    ========
16775 DataNode
8922 QuorumPeerMain
16893 SecondaryNameNode

第二步：安装HBase

1.解压Hbase到指定目录：

[tan@hadoop102 software]$ tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module

2.重命名

[tan@daoop102 module]$ pwd
/opt/module
[tan@daoop102 module]$ mv hbase-2.0.5/ hbase

第三步：配置环境变量

[tan@daoop102 module]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容：

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

4.分发同步配置到其他集群上

[tan@daoop102 module]$ sudo xsync /etc/profile.d/my_env.sh

5.重启Xshell窗口，让环境变量生效

第四步：修改HBase配置文件

1.进入HBase的conf目录下

[tan@daoop102 ~]$ cd $HBASE_HOME/conf

2.修改hbase-env.sh文件：vim hbase-env.sh
在第125行添加修改如下：

export HBASE_MANAGES_ZK=false

3.修改hbase-site.xml文件：vim hbase-site.xml

<!--指定hbase数据存储在hdfs哪个目录下-->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop102:8020/hbase</value>
  </property>

<!--是否使用完全分布式的hbase-->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
<!--告诉hbase，Zookeeper在哪里-->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop102,hadoop103,hadoop104</value>
  </property>

<!--以下是兼容性配置-->
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <name>hbase.wal.provider</name>
    <value>filesystem</value>
  </property>

</configuration>

4.修改regionservers文件：vim regionservers
添加修改：

hadoop102
hadoop103
hadoop104

第五步：分发到其他集群上

[tan@hadoop102 module]$ xsync hbase/

第六步：启动HBase集群

[tan@daoop102 ~]$ start-hbase.sh

[tan@daoop102 ~]$ jpsall
========    hadoop102    ========
24871 DataNode
24713 NameNode
11066 QuorumPeerMain
27388 HRegionServer
27199 HMaster
========    hadoop103    ========
9797 QuorumPeerMain
21755 HRegionServer
20910 DataNode
========    hadoop104    ========
17891 HRegionServer
16775 DataNode
8922 QuorumPeerMain
16893 SecondaryNameNode

第七步：查看HBase页面

启动成功后，可以通过“host:port”的方式来访问HBase管理页面
例如： http://hadoop102:16010

HBase安装包

链接：https://pan.baidu.com/s/1CjvVND-KuNyFAQEOySAGpg 提取码：1907
复制这段内容后打开百度网盘手机App，操作更方便哦