这里写目录标题
环境准备
首先需要安装配置好hadoop集群、zk集群,hadoop集群的搭建部署,可以参考 https://blog.csdn.net/fw19940314/article/details/107978151
博客
zk的安装,这里再详细说一些配置流程。
- 环境准备
- 主机
teacher1192.168.52.133
teacher2192.168.52.135
teacher3192.168.52.136
- 主机
配置好免密操作,hadoop集群搭建中有详细流程。
zookeeper集群安装
- 资源下载 :
https://zookeeper.apache.org/releases.html
- 上传至teacher1 服务器
解压至/opt/zk/
- 配置
进入解压目录 conf,复制zoo_sample.cfg
cp zoo_sample.cfg zoo.cfg
修改zoo.cfgserver.1=teacher1:2888:3888 server.2=teacher2:2888:3888 server.3=teacher3:2888:3888
- 创建myid文件
路径cd /opt/data/zk/
echo "1">myid
- 配置环境变量
#zk
export ZOOKEEPER_HOME=/opt/zk/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
- 分发至teacher2、teacher3
scp -r zk/zookeeper-3.4.14 teacher2:/opt/zk
scp -r zk/zookeeper-3.4.14 teacher3:/opt/zk
- 分别创建datadir路径下的myid 2,3
- 集群操作
#启动
zkServer.sh start
#关闭
zkServer.sh stop
#重启
zkServer.sh restart
#查看集群节点状态
zkServer.sh status
查看 zkServer.sh status
节点状态,如果没有问题的话说明zk搭建成功。
Hbase安装
完成 hadoop集群搭建、zookeep集群搭建
- 资源下载
Hbase安装资源下载路径:http://archive.apache.org/dist/hbase/1.3.1/
- 安装
上传服务器 解压 /opt/hbase - 配置
把hadoop中的配置core-site.xml 、hdfs-site.xml拷贝到hbase安装目录下的conf文件夹中
cd /opt/hadoop/hadoop-2.7.2/etc/hadoop/
cp core-site.xml hdfs-site.xml /opt/hbase/hbase-1.3.1/conf/
修改conf目录下的配置文件
- 修改hbase-env.sh
#添加java环境变量 export JAVA_HOME=/opt/jdk/jdk1.8.0_191 #指定使用外部的zk集群 export HBASE_MANAGES_ZK=FALSE
- 修改 hbase-site.xml
<configuration> <!-- 指定hbase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://teacher1:9000/hbase</value> </property> <!-- 指定hbase是分布式的 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- 指定zk的地址,多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>teacher1:2181,teacher2:2181,teacher3:2181</value> </property> </configuration>
- 修改 regionservers
#指定regionserver节点 teacher1 teacher2 teacher3
- hbase的conf目录下创建文件backup-masters
为了增加hbase集群的可用性,可以为hbase增加多个backup master。当master挂掉后,backup master可以自动接管整个hbase的集群。teacher2
- 分发hbase目录和环境变量到其他节点
scp -r hbase-1.3.1 teacher2:/opt/hbase/ scp -r hbase-1.3.1 teacher3:/opt/hbase/
- 配置hbase的环境变量(三台服务器都要配置)
export HBASE_HOME=/opt/hbase/hbase-1.3.1 export PATH=$PATH:$HBASE_HOME/bin
source /etc/profile/
集群启动
- 启动hbase
start-hbase.sh
- 停止
stop-hbase.sh
- 测试
http://192.168.52.133:16010/master-status#baseStats