手把手教你配置Hbase完全分布式环境

最新推荐文章于 2024-07-29 11:30:00 发布

红豆和绿豆

最新推荐文章于 2024-07-29 11:30:00 发布

阅读量3.7k

点赞数

分类专栏： hadoop 文章标签： HBase 分布式配置

hadoop 专栏收录该内容

93 篇文章 2 订阅

订阅专栏

HBase配置相对比较简单，下面的教程也是基于我上面2篇Hadoop配置的环境下继续往下添加HBase的分布式配置，这次我的HBase安装目录放在跟Hadoop同一目录下面，节点信息跟我前一篇Hadoop完全分布式配置完全一样，不清楚的话可以参考我那篇文章。

HBase根目录：/usr/mywind/hbase

HBase的版本：0.98.8-hadoop2

有图有真相：

完整配置步骤：hadoop-env.sh→hbase-env.sh → hbase-site.xml → regionservers

当然，配置之前的惯例是把bin目录加到系统环境变量里面，方便命令的使用。然后，详细的步骤如下：

1. 配置hadoop-env.sh，把HBase环境变量告诉Hadoop。

1	`export` `HBASE_HOME=${HBASE_HOME}`

1	`export` `HADOOP_CLASSPATH=$HBASE_HOME` `/hbase-it-0` `.98.8-hadoop2.jar:$HBASE_HOME` `/hbase-it-0` `.98.8-hadoop2-tests.jar:$HBASE_HOME` `/conf` `:${HBASE_HOME}` `/lib/zookeeper-3` `.4.6.jar:${HBASE_HOME}` `/lib/protobuf-java-2` `.5.0.jar:${HBASE_HOME}` `/lib/guava-12` `.0.1.jar`

2. 配置hbase-env.sh，把Java环境变量告诉HBase，并配置ZooKpeer是否托管。

1 2	`export` `JAVA_HOME=${JAVA_HOME}` `export` `HBASE_HEAPSIZE_ZK=` `false`

3. 配置hbase-site.xml，引用管网的话“假如你第一次配置，那么<configuration></configuration>之间是没有任何内容的”。

 
        < 
        configuration 
        > 
       
        < 
        property 
        > 
       
        < 
        name 
        >hbase.rootdir</ 
        name 
        > 
       
        < 
        value 
        >hdfs://192.168.8.184:9000/hbase</ 
        value 
        > 
       
        </ 
        property 
        > 
       
        < 
        property 
        > 
       
        < 
        name 
        >hbase.cluster.distributed</ 
        name 
        > 
       
        < 
        value 
        >true</ 
        value 
        > 
       
        </ 
        property 
        > 
       
        < 
        property 
        > 
       
        < 
        name 
        >hbase.master</ 
        name 
        > 
       
        < 
        value 
        >master:60000</ 
        value 
        > 
       
        </ 
        property 
        > 
       
        < 
        property 
        > 
       
        < 
        name 
        >hbase.zookeeper.property.dataDir</ 
        name 
        > 
       
        < 
        value 
        >/home/a01513/zookeeper</ 
        value 
        > 
       
        </ 
        property 
        > 
       
        < 
        property 
        > 
       
        < 
        name 
        >hbase.zookeeper.quorum</ 
        name 
        > 
       
        < 
        value 
        >master,slave1,slave2,slave3</ 
        value 
        > 
       
        </ 
        property 
        > 
       
        < 
        property 
        > 
       
        < 
        name 
        >hbase.zookeeper.property.clientPort</ 
        name 
        > 
       
        < 
        value 
        >2181</ 
        value 
        > 
       
        </ 
        property 
        > 
       
        </ 
        configuration 
        >

这里要特别注意的是hbase.rootdir里面的HDFS地址是要跟Hadoop 的core-site.xml里面的fs.defaultFS 的HDFS的IP地址或者域名、端口必须一致。其次是hbase.zookeeper.property.dataDir，其中a01513是我的操作系统用户名，根据你自己的情况改吧，或者放到其他目录也是可以的。hbase.cluster.distributed 是启用分布式模式，这里必须为true哦。hbase.zookeeper.quorum是配置集群IP地址集或者域名集，逗号分隔。hbase.master配置HBase的主节点端口，web端口是60010,通过web UI你可以确认你是否访问成功了。如下图表示成功了：

4. 最后配置regionservers，这个最简单了，把里面的内容改成下面的就可以了：

1

2

3

 
        slave1 
       
        slave2 
       
        slave3

有图有真相，让你模仿起来更有信心：

配置完成后启动HBase就可以了：

1	`start-hbase.sh`

关于Shell命令、API文档，参考官网吧。

（1）可能还需要将hadoop的核心jar复制到Hbase的lib下

（2）将hadoop的hdfs-site.xml文件复制到Hbase的conf文件下。

配置中可能遇到的问题：

1. WARN [Thread-12] hdfs.DFSClient: DataStreamer Exception

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.

问题定位：datanode

问题原因：datanode没有启动

解决办法：启动datanode（start-dfs.sh）

2. 执行sh start-hbase.sh时报错，命令兼容性原因还是什么，忘记了，总之，不能使用 sh start-hbase.sh ，要用bash start-hbase.sh。