HBase1.2.6环境搭建

HBase1.2.6集群搭建

搭建环境

Ubuntu 16.04 

HBase是基于Hadoop的，Hadoop的搭建可以看我的前一篇文章，有详细的介绍 http://blog.csdn.net/tft3640/article/details/78971668

1、 Hadoop搭建

a)     配置固定IP

                i.         192.168.1.10    master.ubuntu.com       master

               ii.         192.168.1.11    slave1.ubuntu.com       slave1

              iii.         192.168.1.12    slave2.ubuntu.com       slave2

              iv.         192.168.1.13    slave3.ubuntu.com       slave3

注：注释掉127.0.1.1这一行。

b)     Hadoop集群监控相关端口

服务	Web接口	默认端口
NameNode	http://namenode_host:port/	50070
ResourceManager	http://resourcemanager_host:port	8088
MapReduce JobHistory Server	http://jobhistoryserver_host:port/	19888

 

2、 配置Zookeeper

a)     下载压缩包 http://www.apache.org/dyn/closer.cgi/zookeeper/

b)     当前稳定版为3.4.10，下载，并解压至/usr/local/下（tar -zxf zookeeper-3.4.10.tar.gz-C /usr/local/）

复制到每个集群节点相同的路径下。

c)     配置环境变量，在/etc/profile文件中增加

export ZK_HOME=/usr/local/zookeeper

export PATH=$PATH:$ZK_HOME/bin

d)     配置文件zoo.cfg

                i.         在$ZK_HOME/conf中，复制zoo_sample.cfg到zoo.cfg

               ii.         在zoo.cfg中添加

dataDir=/usr/lib/zookeeper        #原文件中已有   这个坑了我两天。。

clientPort=2181                  #原文件中已有

tickTime=2000                   #原文件中已有

initLimit=5                      #原文件中已有

syncLimit=2                     #原文件中已有

dataLogDir=/var/log/zookeeper

server.0=master:2888:3888

server.1=slave1:2888:3888

server.2=slave2:2888:3888

server.3=slave3:2888:3888

1.     dataDir：存储内存中数据库快照的位置（需要先手动建立对应目录）

2.     dataLogDir：事物日志写入指定的目录中（需要先手动建立对应目录）

3.     clientPort：监听客户端连接的端口

4.     tickTime：基本事件单元 ，以毫秒为单位。它用来控制心跳和超时，默认情况下最小的会话超时时间为两倍的tickTime

5.     initLimit：允许follower（相对于leader而言的“客户端”）连接并同步到leader的初始化连接时间，它是以tickTime的倍数来表示。当初始化连接时间超过设置倍数的tickTime时，则连接失败。

6.     syncLimit：leader与follower之间发送消息时，请求和应答的时间长度。如果follower在设置的时间内不能与leader通信，那么此follower将被丢弃。

7.     server.x=[hostname]:[port1]:[port2]：其中x是一个数字，表示这个是第几号服务器，与myid（下面会有myid的配置）文件中的id是一致的；右边可以配置两个端口，第1个端口用于follower和leader之间的数据同步和其他通信，第2个端口用于leader选举过程中投票通信。

e)     配置myid文件。

在master、slave1、slave2、slave3的/usr/lib/zooKeeper目录（注意这个目录是dataDir目录）新建文件myid，内容分别为数值0，1，2，3

f)      启动/关闭ZooKeeper集群及状态查看（如果是启动和关闭命令，则在所有安装ZooKeeper服务的节点都需要执行）

cd $ZK_HOME

bin/zkServer.sh start|stop|status

g)     注意防火墙，需要打开2181、2888、3888端口。

3、 配置HBase

a)     下载HBase，http://www.apache.org/dyn/closer.cgi/hbase/，本文使用的版本是1.2.6

b)     sudo tar -zxvfhbase-1.2.6-bin.tar.gz -C /usr/local/，将HBase解压

c)     配置环境变量，增加：

export HBASE_HOME=/usr/local/hbase-1.2.6

export PATH=$PATH:$HBASE_HOME/bin

d)     进行$HBASE_HOME/conf，修改hbase-site.xml文件

<configuration>

       <property>

              <name>hbase.rootdir</name>

              <value>hdfs://master:8020/hbase</value>

       </property>

       <property>

              <name>hbase.master</name>

              <value>master</value>

       </property>

       <property>

              <name>hbase.cluster.distributed</name>

              <value>true</value>

       </property>

       <property>

              <name>hbase.ZooKeeper.property.clientPort</name>

              <value>2181</value>

       </property>

       <property>

              <name>hbase.ZooKeeper.quorum</name>

              <value>master,slave1,slave2,slav3</value>

       </property>

       <property>

              <name>ZooKeeper.session.timeout</name>

              <value>60000000</value>

       </property>

       <property>

              <name>dfs.support.append</name>

              <value>true</value>

       </property>

</configuration>

e)     配置hbase-evn.sh

export JAVA_HOME=/usr/local/jdk1.8.0_151

export HBASE_CLASSPATH=/usr/local/hbase-1.2.6/etc/Hadoop

export HBASE_MANAGES_ZK=false

f)      配置regionservers

slave1

slave2

slave3

g)     运行HBase

$HBASE_HOME/bin/start-hbase.sh 开启

$HBASE_HOME/bin/stop-hbase.sh 关闭

 

注：先开启hadoop在master节点上使用bashstart-all.sh，再在每个节点上开启zookeeper，使用zkServer.sh start，最后开启HBase。

h)     访问地址http://master:16010进入HBase监控页面。