Hadoop集群搭建六 HBase高可用集群的安装及应用

HBase高可用集群的安装及应用

集群规划
HBase有主节点和Region节点2类服务节点，高可用完全分布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足Region有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为Region节点；
主机名 IP地址 服务描述
Cluster-01 192.168.10.111 HBase主控节点
Cluster-02 192.168.10.112 HBase备用主控节点
Cluster-03 192.168.10.113 HBase Region服务
Cluster-04 192.168.10.114 HBase Region服务
Cluster-05 192.168.10.115 HBase Region服务

一、HBase基本安装配置
*该项的所有操作步骤使用专门用于集群的用户admin进行
*此项只在一台主机操作，然后再下一步骤进行同步安装与配置
1、首先，将HBase软件包“HBase-1.2.3-bin.tar.gz”上传到用户家目录的“setups”目录下，然后进行解压和设置环境变量；

#创建用于存放HBase相关文件的目录，进入该目录，将软件包解压

#在文件.bash_profile中配置HBase相关的环境变量，并使环境变量立即生效
#hbase environment
#HBASE_HOME=/home/admin/hbase/hbase-1.2.3
#PATH=$ HBASE_HOME/bin:$PATH
#export HBASE_HOME PATH


#查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确
#echo $HBASE_HOME
#echo $PATH
#hbase version

二、HBase高可用完全分布模式配置
*该项的所有操作步骤使用专门用于集群的用户admin进行

#进入HBase相关文件的目录，分布创建HBase的元数据文件目录“tmp”和HDFS的日志文件目录“logs”

#进入HBase的配置文件所在目录，对配置文件Hbase_env.sh进行修改

#找到配置项“JAVA_HOME”所在行，将其改为以下内容,找到配置项“HBASE_CLASSPATH”，该项用于指定Hadoop的配置文件所在的路径，将其改为以下内容：

#找到配置项“HBASE_LOG_DIR”，该项用于指定HBase的日志文件的本地存放路径，将其改为以下内容：

#找到配置项“HBASE_MANAGES_ZK”，该项用于关闭HBase自带的Zookeeper组件，将其改为以下内容：

#对hbase_env.xml配置文件进行修改

#对配置文件进行修改
#vi regionservers
#删除文件中原有的所有内容，然后添加集群中所有RegionServer节点的主机名，每行一个主机的主机名，配置格式如下：
#Cluster-03
#Cluster-04
#Cluster-05

#创建配置文件“backup-masters”，并对其进行修改。添加集群中所有备用主节点的主机名，每行一个主机的主机名，配置格式如下：

三、同步安装配置以及系统时间
该项的所有操作步骤使用专门用于集群的用户admin进行
将“hbase”目录和“./bash_profile”文件发给集群中所有其他主机，发送目标为集群专用用户admin，发送目标路径为“/home/admin”，即集群专用用户admin的家目录。
#scp -r ~/hbase ~/.bash_profile admin@Cluster-:/home/admin


#然后每台执行source ~/.bash_profile使环境变量生效，并查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。

*时间同步项的所有操作步骤需要使用root用户进行
#在集群中所有主机上使用命令“date -s ‘yyyy-MM-dd HH:mm:ss（年-月-日 时:分:秒）’”对系统时间进行设置，并使用命令“hwclock -w”将设置的时间同步到硬件时钟。
#该操作尽量在所有主机上同时进行，从而保证主机之间的时间误差在设定的“hbase.master.maxclockshew”范围内。
#对系统时间进行设置，时间为你自己的当前时间，并将设置的时间同步到硬件时钟

#如果是在VMware workstations pro模拟平台上安装的，那么需要开启时间同步，选中虚拟机节点->右键->设置->选项，开启时间同步

四、Hadoop高可用完全分布模式验证
*该项的所有操作步骤使用专门用于集群的用户admin进行；
*启动HBase集群之前首先确保Zookeeper集群已被开启状态，Zookeeper集群的启动需要分别在每个计算机的节点上手动启动；
*启动HBase集群之前首先确保Hadoop集群已被开启状态，Hadoop集群的启动只需要在主节点执行启动命令；
#如果Zookeeper未启动，则在集群中所有主机上使用命令“zkServer.sh start”启动Zookeeper。在集群中所有节点上使用命令“zkServer.sh status”查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常；
#zkServer.sh start
#zkServer.sh status




#在主节点使用命令，启动Hadoop集群。
#start-all.sh

#在所有备用主节点的主机，使用此命令，启动YARN主节点服务。
#yarn-daemin.sh start resourcemanager

#确定Hadoop集群已启动状态，然后在主节点使用此命令，启动HBase
#start-hbase.sh

#在备用主节点使用命令“jps”查看Java进程信息，若有名为“HMaster”的进程，则表示HBase集群的备用主节点启动成功。

#在所有Region节点使用命令“jps”查看Java进程信息，若有名为“HRegionServer”的进程，则表示HBase集群的Region节点启动成功。



#进入HBase控制台，在控制台中使用命令“create ‘表名’，‘列名1’，‘列名2’，…”创建表，

解决方法见最后。
五、Hbase的使用
1、在集群中所有主机启动Zookeeper服务并查看集群的工作状态
#zkServer.sh start
#zkServer.sh status
2.在主节点启动Hadoop集群和Hbase集群，在备用节点启动ResourceManager
#start-all.sh
#yarn-daemen.sh start recoursemanager
3.在主节点和备用节点查看JAVA进程信息每个节点六个进程。
4、进入Hbase命令界面

5、新建表空间并进行相关信息的查看

6、建立一个表和列族

7、在表结构中插入合适的值

8、根据键值查询数据

9、扫描所有数据

10、扫描指定列

11、统计行数

12、删除指定的数据

删除后：

13、删除整行信息

14、清空整个表

15、表的删除操作
Disable和enable操作分别表示暂停表的可用性和打开可用性

16、表的删除

六、（练习）下表是几位同学的成绩单，把数据写到Hbase
1、建立一个表和列族

2、在表结构中插入合适的值



3、扫描所有数据

4、扫描指定列

5、根据键值查询数据

HBase进程出现问题，主节点Hmaster进程启动后，自动宕掉。其他节点正常。解决方案：
使用ZK客户端登录zookeeper，在终端执行：

查看hbase目录是否为空

重启HBASE，先停掉hbase进程，再分别重启zookeeper、hadoop。

解决：

在启动HBASE后主节点进程启动出现问题，利用上述方法解决。
再次启动时发现仍然出现此问题，通过查阅资料。发现是因为hadoop主节点为2号机所引起，所以在配置文件xml文件中将2号机改为1号机。将backup文件中加入1号机。最后重启服务。
在创建数据库中，注意无空格。