HBase全分布式模式的安装和配置

2019独角兽企业重金招聘Python工程师标准>>>

##集群节点规划 | 节点名称 | Master | ZooKeeper | RegionServer| | ------------- |:-------------:| -----:| | master | yes | yes |no| | slave01 | no | yes |yes| | slave02 | no | yes |yes|

##配置master节点 ###conf/regionservers regionservers 配置文件用来指定运行 RegionServer 的节点, 根据上表的节点规划, 编辑 conf/regionservers 文件, 删除内容为 localhost 的这一行, 然后将 slave01 和 slave02 的主机名或 IP 地址添加进去.regionservers 配置文件的内容如下:

slave01
slave02

###ZooKeeper配置 ####conf/hbase-env.sh HBase 集群的运行依赖 ZooKeeper 集群.所有的节点和客户端都必须要能够访问 ZooKeeper, HBase 自己默认会管理一个 ZooKeeper 集群, 这个集群会随着 HBase 的启动而启动。现在我们希望自己维护一个 ZooKeeper 集群, 需要在 conf/hbase-env.sh 文件中做以下配置:

export JAVA_HOME=/opt/java/jdk1.7.0_80/  #JDK安装目录
export HBASE_MANAGES_ZK=false #不用HBase管理ZooKeeper集群

####conf/hbase-site.xml 既然是我们自己管理 ZooKeeper 集群, 就需要告诉 HBase ZooKeeper 集群的地址, 修改 conf/hbase-site.xml 文件:

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
  	<name>hbase.cluster.distributed</name>
  	<value>true</value>
    </property>
    <property>
   	<name>hbase.zookeeper.quorum</name>
  	<value>master,slave01,slave02</value>
    </property>
    <property>
    	<name>hbase.zookeeper.property.dataDir</name>
    	<value>/opt/zookeeper/data</value>
    </property>
</configuration>

hbase.rootdir 指定 HBase 中的存储目录, 注意 "hdfs://master:9000" 必须要与 Hadoop 集群的 core-site.xml 配置文件中 fs.defaultFS 配置项的值保持一致; hbase.cluster.distributed 指定 HBase 的运行模式, true代表分布式模式;hbase.zookeeper.quorum 指定 Zookeeper 集群的机器列表, 一般为奇数个; hbase.zookeeper.property.dataDir 指定 ZooKeeper 数据存放的路径.

##配置slave01和slave02 ###安装HBase 分别在 slave01 和 slave02 上安装 HBase, 安装过程可以参考之前的一篇博客 HBase单机模式和伪分布式模式安装和配置. ###拷贝master配置文件 使用以下命令拷贝 master 服务器上 HBase 安装目录下 conf 文件夹的内容到 slave01 和 slave02.

scp -r conf hadoop@slave01:/opt/hbase/
scp -r conf hadoop@slave02:/opt/hbase/

##启动集群 ###启动ZooKeeper集群 在 ZooKeeper 集群的每台服务器上执行 zkServer.sh start 命令即可启动集群, 更多详细信息可以参考我之前的博客 ZooKeeper安装和配置.

启动成功后, 使用 jps 命令可以看到每台服务器上都启动了这个 QuorumPeerMain 进程.

###启动Hadoop集群 在 master 节点上执行 start-dfs.sh 脚本, 然后再执行 start-yarn.sh 脚本可以启动 Hadoop 集群, 更多详细信息可以参考我之前的博客 Hadoop 2.6.4分布式集群环境搭建.

###启动HBase集群 在 master 节点上执行 start-hbase.sh 命令可以启动 HBase 集群.

hadoop[@master](http://my.oschina.net/u/48054):~$ start-hbase.sh 
starting master, logging to /opt/hbase/logs/hbase-hadoop-master-master.out
slave02: starting regionserver, logging to /opt/hbase/bin/../logs/hbase-hadoop-regionserver-slave02.out
slave01: starting regionserver, logging to /opt/hbase/bin/../logs/hbase-hadoop-regionserver-slave01.out

###校验运行的进程 在集群中的每台服务器上执行 jps 命令查看当前正在运行的 java 进程以检查集群是否启动成功. ####master节点jps命令输出 ####slave01节点jps命令输出 ####slave02节点jps命令输出 ####ZooKeeper进程名称 因为 ZooKeeper 集群是由我们自己来管理的, 所以 ZooKeeper 进程的名称为 QuorumPeerMain.如果 ZooKeeper 集群是由 HBase 来管理的话, ZooKeeper 进程的名称则为 HQuorumPeer. ##Web UI HBase 0.98.x 之后的版本中, HBase Web UI 使用的 HTTP 端口号已经从 Master 节点使用 60010 端口、每个 RegionServer 使用 60030 端口变成 Master 节点使用 16010 端口、RegionServer 使用 16030 端口.

在浏览器中输入地址 http://master:16010/ 来访问 HBase Web UI. ###Region Server

###HBase表 表统计信息

表明细信息

###软件属性

##参考资料 http://hbase.apache.org/book.html#quickstart

转载于:https://my.oschina.net/jackieyeah/blog/712083