2.8.2 hadoop体系之离线计算-HBase数据库-HBase安装和配置

目录

1.前提条件

1.1 Hadoop 正常部署

1. 2 Zookeeper 正常部署

1.3 JDK

2.安装HBase

2.1 HBase 的解压

2.2 修改Hbase的配置文件

2.2.1 hbase-env.sh 修改内容

2.2.2 hbase-site.xml 修改内容

2.2.3 regionservers和backup-masters修改内容

2.2.4 软连接 hadoop 配置文件到 HBase

2.2.5 HBase 远程发送到其他集群

2.2.6 HBase 服务的启动

2.2.7 查看 HBase 页面

---

1.前提条件

1.1 Hadoop 正常部署

Hadoop 集群的正常部署并启动：

start-dfs.sh 

start-yarn.sh

1. 2 Zookeeper 正常部署

这里我们不采用 HBase 内置的 Zookeeper ，首先保证 Zookeeper 集群的正常部署，并l利用我们之前写的脚本文件启动：

sh /root/bin/zkeeper.sh start

1.3 JDK

 HBase 需要依赖 JDK 环境，这里搭建的HBase版本是1.4.13，JDK 的最低版本要求是1.7， HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需要安装 JDK 1.8+ 。

HBase 的版本必须要与 Hadoop 的版本兼容，不然会出现各种 Jar 包冲突。这里我所有软件版本如下：

• Hadoop 版本：hadoop-2.7.7

• HBase 版本：hbase-1.4.13

• JDK 版本：JDK 1.8.0_191

2.安装HBase

这里搭建一个 3 节点的 HBase 集群，其中三台主机上均为 RegionServer。同时为了保证高可用，除了在 hadoop01 上部署主 Master 服务外，还在 hadoop02 上部署备用的 Master 服务。Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会切换为主 Master。

2.1 HBase 的解压

下载后进行解压，下载地址：https://hbase.apache.org/downloads.html

tar -zxvf hbase-1.4.13-bin.tar.gz -C /opt/software/

修改环境变量：

sudo vim /etc/profile

添加环境变量：

export HBASE_HOME=/opt/software/hbase-1.4.13
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HIVE_HOME}/bin:${ZEPPELIN_HOME}/bin:${HBASE_HOME}/bin:$PATH

使得配置的环境变量生效：

source /etc/profile

2.2 修改Hbase的配置文件

首先创建相关目录

mkdir -p /opt/software/hbase-1.4.13/tmp

mkdir -p /opt/software/hbase-1.4.13/zookeeper_data

2.2.1 hbase-env.sh 修改内容

# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/opt/moudle/jdk1.8.0_191
export HBASE_MANAGES_ZK=false

 (1)在我们运行stop-hbase.sh时候，关闭Hbase出现stopping hbasecat:/tmp/hbase-root-master.pid:No such file or directory

hbase-env.sh中PID那一行最好打开，在hbase目录下conf文件夹下 hbase-env.sh中修改pid文件的存放路径，看注释，hbase默认注释掉HBASE_PID_DIR，而hbase默认把pid文件放在/tmp目录下，Ubuntu 默认重启自动删除/tmp文件夹中的目录 。删除之后hbase无法找到，在配置中把目录改成不会被删除的目录就行

(2)启动过程中，HBase启动遇到Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0警告。

根据hbase-site.xml配置文件，当使用JDK8+版本时将相关信息注释掉即可

# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

2.2.2 hbase-site.xml 修改内容

<configuration>
    <!-- 指定 HBase 以分布式模式运行 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定 HBase 数据存储路径为 HDFS 上的 hbase 目录,hbase 目录不需要预先创建，程序会自动创
建 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://h2node01:9000/hbase</value>
    </property>
    <!-- HBase临时数据存储目录 -->
    <property>
        <name>hbase.tmp.dir</name>
        <value>/opt/software/hbase-1.4.13/tmp</value>
    </property>
    <!-- 指定 zookeeper 地址和端口 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>h2node01:2181,h2node02:2181,h2node03:2181</value>
    </property>
    <!-- zookeeper数据存放位置 -->
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/software/hbase-1.4.13/zookeeper_data</value>
    </property>
</configuration>

2.2.3 regionservers和backup-masters修改内容

regionservers

h2node01
h2node02
h2node03

backup-masters

这个文件是不存在的，需要新建，主要用来指明备用的 master 节点，可以是多个，这里以 1 个为例。

h2node02

2.2.4 软连接 hadoop 配置文件到 HBase

这里有一个可选的配置：如果您在 Hadoop 集群上进行了 HDFS 客户端配置的更改，比如将副本系数 dfs.replication 设置成 5，则必须使用以下方法之一来使 HBase 知道，否则 HBase 将依旧使用默认的副本系数 3 来创建文件：

#将Hadoop的core-site.xml和hdfs-site.xml通过建立软链接的方式放置${HBASE_HOME}/conf目录下
[xiaokang@hadoop01 ~]$ ln -s /opt/software/hadoop-2.7.7/etc/hadoop/hdfs-site.xml /opt/software/hbase-1.4.13/conf/hdfs-site.xml

[xiaokang@hadoop01 ~]$ ln -s /opt/software/hadoop-2.7.7/etc/hadoop/core-site.xml /opt/software/hbase-1.4.13/conf/core-site.xml

2.2.5 HBase 远程发送到其他集群

将 HBase 的安装包分发到其他节点，分发后建议在这两台服务器上也配置一下 HBase 的环境变量（可以一块分发，然后source一下）。

[xiaokang@hadoop01 ~]$ scp -r /opt/software/hbase-1.4.13/ xiaokang@hadoop02:/opt/software/
[xiaokang@hadoop01 ~]$ scp -r /opt/software/hbase-1.4.13/ xiaokang@hadoop03:/opt/software/

2.2.6 HBase 服务的启动

启动方式一：

[atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start master
[atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver

提示：

如果集群之间的节点时间不同步，会导致 regionserver 无法启动，抛出 ClockOutOfSyncException 异常。

修复提示：

• a、同步时间服务
• b、属性：hbase.master.maxclockskew 设置更大的值

<property>
 <name>hbase.master.maxclockskew</name>
 <value>180000</value>
 <description>Time difference of regionserver from
master</description>
</property>

启动方式二：

[atguigu@hadoop102 hbase]$ bin/start-hbase.sh
对应的停止服务：
[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh

#三个节点都启动Zookeeper服务
[xiaokang@hadoop ~]$ zkServer.sh start
#启动Hadoop集群
[xiaokang@hadoop conf]$ start-dfs.sh
[xiaokang@hadoop conf]$ start-yarn.sh
#启动HBase集群
[xiaokang@hadoop ~]$ start-hbase.sh

#也可以分别启动HBase集群的各个进程
[xiaokang@hadoop ~]$ hbase-daemon.sh start master
[xiaokang@hadoop ~]$ hbase-daemon.sh start regionserver

jps查看三个机器：

关闭的时候出现了问题：

上述方法有效！！！ 

2.2.7 查看 HBase 页面

启动成功后，可以通过“host:port”的方式来访问 HBase 管理页面，例如： http://h2node01:16010