Hadoop Hbase 分布式部署

基本配置同 HDFS+NFS+ZOOKEEPER实现Hadoop高可用集群

1、Hbase安装配置

安装包下载地址http://mirror.bit.edu.cn/apache/hbase/1.2.6/

$ tar zxf hbase-1.2.4-bin.tar.gz
$ vim hbase-env.sh#修改以下三项

export JAVA_HOME=/home/hadoop/java #指定 jdk
export HBASE_MANAGES_ZK=false #默认值时 true，hbase 在启动时自动开启 zookeeper，如需自己维护 zookeeper 集群需设置为 false
export HADOOP_HOME=/home/hadoop/hadoop #指定 hadoop 目录，否则 hbase无法识别 hdfs 集群配置。

$ vim hbase-site.xml

<configuration>
<!-- 指定 region server 的共享目录，用来持久化 HBase。这里指定的 HDFS 地址
是要跟 core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
<!-- 启用 hbase 分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- Zookeeper 集群的地址列表，用逗号分割。默认是 localhost,是给伪分布式用
的。要修改才能在完全分布式的情况下使用。 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.0.185,192.168.0.186,192.168.0.173</value>
</property>
<!-- 指定数据拷贝 3 份，hdfs 默认是 3 份。 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定 hbase 的 master -->
<property><name>hbase.master</name>
<value>h1</value>
</property>
</configuration>

$ cat regionservers

192.168.0.185
192.168.0.186
192.168.0.173

2. 启动 hbase

主节cobbler1点运行：

$ bin/start-hbase.sh
[hadoop@cobbler1 hbase]$ jps

备节cobbler5点运行：

[hadoop@server5 hbase]$ bin/hbase-daemon.sh start master

HBase Master 默认端口时 16000，还有个 web 界面默认在 Master 的 16010 端口上，HBase RegionServers 会默认绑定 16020 端口，在端口 16030 上有一个展示信息的界面。

如果磁盘大小不能满足要求的话Hbase启动不久就会自动挂掉

以下状态就属于磁盘大小未满足要求的状态，过了几秒页面就failed to load了
cobbler1处于master状态

cobbler5处于backup master状态

3. 测试

$ [hadoop@cobbler1 hbase]$ bin/hbase shell
hbase(main):003:0> create 'test', 'cf'
0 row(s) in 1.2200 seconds
hbase(main):003:0> list 'test'
TABLE
test
1 row(s) in 0.2150 seconds
=> ["test"]
hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0560 seconds
hbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0370 seconds
hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0450 seconds
hbase(main):007:0> scan 'test'
ROW COLUMN+CELL
row1 column=cf:a, timestamp=1488879391939, value=value1
row2 column=cf:b, timestamp=1488879402796, value=value2
row3 column=cf:c, timestamp=1488879410863, value=value3
3 row(s) in 0.2770 seconds
$ [hadoop@cobbler5 hadoop]$ bin/hdfs dfs -ls /
Found 3 itemsdrwxr-xr-x - hadoop supergroup 0 2017-03-07 23:56 /hbase
drwx------ - hadoop supergroup 0 2017-03-04 17:50 /tmp
drwxr-xr-x - hadoop supergroup 0 2017-03-04 17:38 /user

在主节点上 kill 掉 HMaster 进程后查看故障切换