超详细的zookeeper和hbase安装教程以及启动脚本zk.sh等

目录

说明

zookeeper安装

1.上传文件

2.解压

3.修改文件夹名称

4.修改配置

5.修改dataDir（数据存储路径）

6.创建文件夹

7.在zkData下创建myid文件（文件名不可更换）

8.分发zookeeper并修改zkData配置

9.编写zookeeper的启动、关闭、状态脚本

hbase安装

1.启动hadoop集群

2.启动zookeeper

3.上传文件并解压

4.配置hbase环境变量

5.修改hbase-env.sh

6.修改regionservers

7.配置高可用

 8.启动hbase（需要先启动zookeeper）

9.脚本用法

---

说明

以下命令均在主节点[root@bigdata2023master~]# 上操作执行，在不同机器上执行会说明。

zookeeper版本为3.5.7

hbase版本为2.0.5

zookeeper安装

1.上传文件

上传apache-zookeeper-3.5.7-bin.tar.gz至bigdata2023master

cd /opt/software/

2.解压

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

3.修改文件夹名称

 cd /opt/module/

 mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7

4.修改配置

cd /opt/module/zookeeper-3.5.7/conf/

mv zoo_sample.cfg zoo.cfg

vim zoo.cfg

5.修改dataDir（数据存储路径）

dataDir=/opt/module/zookeeper-3.5.7/zkData

  在末尾添加如下内容：

server.2=bigdata2023master:2888:3888
server.3=bigdata2023slave1:2888:3888
server.4=bigdata2023slave2:2888:3888

6.创建文件夹

cd /opt/module/zookeeper-3.5.7

mkdir zkData

7.在zkData下创建myid文件（文件名不可更换）

[root@bigdata2023master zookeeper-3.5.7]$ cd zkData/

[root@bigdata2023master zkData]$ vim myid

文件中仅写入以下内容：（不可含有空行和空格，只能有数字2）

2

8.分发zookeeper并修改zkData配置

将zookeeper分发至bigdata2023slave1、bigdata2023slave2

xsync /opt/module/zookeeper-3.5.7/

xsync同步相关脚本见该作者其他文章（脚本合集），如果没有的可以用以下命令：

 scp -r /opt/module/zookeeper-3.5.7/ root@bigdata2023slave1:/opt/module

 scp -r /opt/module/zookeeper-3.5.7/ lroot@bigdata2023slave2:/opt/module

修改bigdata2023slave1、bigdata2023slave2的myid文件内容,注意机器名称

[root@bigdata2023slave1 ~]$ vim /opt/module/zookeeper-3.5.7/zkData/myid

[root@bigdata2023slave2 ~]$ vim /opt/module/zookeeper-3.5.7/zkData/myid

在bigdata2023slave1将数字2改为3，在bigdata2023slave2上将数字2改为4

9.编写zookeeper的启动、关闭、状态脚本

切换到/bin/目录，注意修改自己对应的主机名和目录名

[root@bigdata2023master zookeeper-3.5.7]$ cd ~/bin/

创建脚本

#在所存放脚本的/bin目录下，由于之前创建了脚本路径为/home/leeroot/bin/
#这里首先进入此目录 全局生效的话需要将此路径配置环境变量，具体见该作者Hadoop的安装过程
cd /home/leeroot/bin/
vi zk.sh

输入的具体脚本内容为：

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "Input No Args!"
    exit;
fi

case $1 in
"start")
	for i in bigdata2023master bigdata2023slave1 bigdata2023slave2
	do
		echo -e "\n------------ zookeeper $i 启动 ------------"
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
	done
	echo -e "\n"
;;
"stop")
	for i in bigdata2023master bigdata2023slave1 bigdata2023slave2
	do
		echo -e "\n------------ zookeeper $i 停止 ------------"
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
	done
	echo -e "\n"
;;
"status")
	for i in bigdata2023master bigdata2023slave1 bigdata2023slave2
	do
		echo -e "\n------------ zookeeper $i 状态 ------------"
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
	done
	echo -e "\n"
;;
*)
    echo "Input Args Error!"
;;
esac

然后保存修改执行权限：

chmod 777 zk.sh

脚本用法：

• 在机器的任意位置，输入：

1. zk.sh start    启动zookeeper

   zk.sh stop    关闭zookeeper

   zk.sh status    查看zookeeper状态

2. zookeeper安装结束

hbase安装

1.启动hadoop集群

#进入hadoop安装目录下的sbin目录
 cd /opt/software/hadoop-3.1.2/sbin
 ​
#运行启动hadoop命令
 sh start-all.sh
 ​​
#停止hadoop命令
 sh stop-all.sh

这里也可以用脚本启动，具体详情请见该作者的（脚本合集）

2.启动zookeeper

脚本见本文档zookeeper安装

 zk.sh start

3.上传文件并解压

上传hbase-2.0.5-bin.tar.gz至ljc102

cd /opt/software/

解压：

tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module/

4.配置hbase环境变量

我这里配置环境变量为 vim /etc/profile.d/my_env.sh ，正常为vi /etc/profile/ 采用这种方式存放环境变量更好管理便于更改操作。

 vim /etc/profile.d/my_env.sh

添加内容：

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase-2.0.5
export PATH=$PATH:$HBASE_HOME/bin

5.修改hbase-env.sh

[root@bigdata2023master ~]$ cd /opt/module/hbase-2.0.5/conf/

[root@bigdata2023master conf]$ vim hbase-env.sh

写入，或去掉#并改为：

export HBASE_MANAGES_ZK=false

修改hbase-site.xml

[root@bigdata2023master conf]$ vim hbase-site.xml

修改为

注意更改主机名、目录名，注意hdfs端口号（hadoop集群与我相同无需更改端口号）

<configuration>

    <property>

        <name>hbase.rootdir</name>

        <value>hdfs://ljc102:8020/hbase</value>

    </property>

    <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

    <property>

        <name>hbase.zookeeper.quorum</name>

        <value>ljc102,ljc103,ljc104</value>

    </property>

    <property>

        <name>hbase.zookeeper.property.dataDir</name>

        <value>/opt/module/zookeeper-3.5.7/zkData</value>

    </property>

</configuration>

6.修改regionservers

[root@bigdata2023master conf]$ vim regionservers

改为你对应的主机名

bigdata2023master
bigdata2023slave1
bigdata2023slave2

分别在bigdata2023master、bigdata2023slave1、bigdata2023slave2上删除如下jar包

[root@bigdata2023master ~]$ rm -rf /opt/module/hbase-2.0.5/lib/slf4j-log4j12-1.7.25.jar

7.配置高可用

[root@bigdata2023master ~]$ cd /opt/module/hbase-2.0.5/conf/

[root@bigdata2023master conf]$ vim backup-masters

写入

bigdata2023slave1

将hbase分发至bigdata2023slave1、bigdata2023slave2

[root@bigdata2023master hbase-2.0.5]$ xsync /opt/module/hbase-2.0.5/

xsync同步脚本见该作者hadoop集群搭建文章或者脚本合集，没有的可以用以下命令：

scp -r /opt/module/hbase-2.0.5/ root@bigdata2023slave1:/opt/module

scp -r /opt/module/hbase-2.0.5/ root@bigdata2023slave2:/opt/module

 8.启动hbase（需要先启动zookeeper）

可以采用命令启动或者脚本启动，

命令启动：

#先进入/opt/module/hbase-2.0.5/bin/
cd /opt/module/hbase-2.0.5/bin/

#再执行该命令启动hbase
start-hbase.sh

脚本启动：（编写脚本）

切换到/bin/目录，注意修改自己对应的主机名和目录名

[root@bigdata2023master zookeeper-3.5.7]$ cd ~/bin/

创建脚本

#在所存放脚本的/bin目录下，由于之前创建了脚本路径为/home/leeroot/bin/
#这里首先进入此目录 全局生效的话需要将此路径配置环境变量，具体见该作者Hadoop的安装过程
cd /home/leeroot/bin/
vi hbs.sh

输入的具体脚本内容为：

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "Input No Args!"
    exit;
fi

case $1 in
"start")
        echo -e "\n================= 启动 hbase ================="
        ssh bigdata2023master "/opt/module/hbase-2.0.5/bin/start-hbase.sh"
	echo -e "\n"
;;
"stop")
        echo -e "\n================= 关闭 hbase ================="
        ssh bigdata2023master "/opt/module/hbase-2.0.5/bin/stop-hbase.sh"
	echo -e "\n"
;;
*)
    echo "Input Args Error!"
;;
esac

 然后保存修改执行权限：

chmod 777 hbs.sh

9.脚本用法

在机器的任意位置，输入：

hbs.sh start    启动hbase

hbs.sh stop    关闭hbase

查看hbase网页端，启动后可以在浏览器里输入bigdata2023master:16010或者

对应IP地址：16010  例如：192.168.222.200:16010

hdfs为bigdata2023master:9870

yarn为bigdata2023slave1:8088