HBase环境搭建有三种方式:1.本地模式:只需要一个节点(只有HMaster,没有HRegionServer),不需要集成ZooKeeper,数据存储在本地文件系统上;2.伪分布模式:只需要一个节点(HMaster和HRegionServer在同一个节点上),需要集成ZooKeeper,数据存储在HDFS上;3.全分布模式:至少需要3个节点(一个HMaster节点和至少2个HRegionServer节点),需要集成ZooKeeper,数据存储在HDFS上。本节先来介绍HBase伪分布模式的环境搭建过程。
集群环境介绍:
master 192.168.112.10
slave1 192.168.112.11
slave2 192.168.112.12
安装包:zookeeper-3.4.11:https://pan.baidu.com/s/1_6TQRcybzU4PDY_-oOREmA
1.搭建Hadoop全分布环境
Hadoop全分布模式的搭建过程请参看文章:https://blog.csdn.net/qq_28286027/article/details/82973196
2.搭建ZooKeeper伪分布环境
Zookeeper有两种常见的搭建方式:1.standalone方式;2.集群方式。这两者的区别是:
- standalone方式只需要一个Zookeeper节点;集群方式至少需要3个节点(一个leader,2个follower);
- standalone方式一旦Zookeeper节点宕机,Spark HA就不能使用了;
- 集群方式如果leader宕机,Zookeeper内部会从follower中选举出一个新的leader,可以对HA提供更有效的保障。
这里来介绍Zookeeper的standalone方式的搭建过程:
1.上传Zookeeper安装包
/usr/local/src/zookeeper-3.4.11
2.解压Zookeeper安装包
tar -xvf zookeeper-3.4.11.tar
3.配置Zookeeper环境变量:
[root@master src]# vim /root/.bash_profile
#zookeeper
ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.11
export ZOOKEEPER_HOME
PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
及时生效:[root@master tools]# source /root/.bash_profile
4.配置Zookeeper参数
4.1创建Zookeeper保存数据的目录:
/usr/local/src/zookeeper-3.4.11/tmp
4.2编辑Zookeeper的配置文件zoo.cfg:
[root@master conf]# cp zoo_sample.cfg zoo.cfg
[root@master conf]# vim zoo.cfg
#dataDir=/tmp/zookeeper
dataDir=/usr/local/src/zookeeper-3.4.11/tmp
server.1=master:2888:3888
2888端口:是zookeeper服务之间进行通信的端口
3888端口:是zookeeper与其他程序之间进行通信的端口
4.3启动zookeeper
[root@master conf]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper-3.4.11/bin/../conf