三、大数据之Zookeeper完全分布式集群搭建

最新推荐文章于 2024-04-17 10:06:48 发布

尘.埃

最新推荐文章于 2024-04-17 10:06:48 发布

阅读量1.5k

点赞数 3

分类专栏：大数据生态框架搭建文章标签： zookeeper 大数据

本文链接：https://blog.csdn.net/qq_44881823/article/details/115844339

版权

大数据生态框架搭建专栏收录该内容

6 篇文章

订阅专栏

Zookeeper简介：

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。
ZooKeeper是一个分布式小文件系统，并且被设计为高可用性。

通过选举算法和集群复制可以避免单点故障，由于是文件系统，所以即使所有的ZooKeeper节点全部挂掉，数据也不会丢失，重启服务器之后，数据即可恢复。

所有的一切ZooKeeper已经为开发者提供了保障，我们需要做的只是调用API。与此同时，随着分布式应用的的不断深入，需要对集群管理逐步透明化监控集群和作业状态，可以充分利ZK的独有特性。

Zookeeper特点：
   1、Zookeeper是一个领导者（leader），多个跟随者（follower）组成的集群。
   
   2、集群中只要有半数以上的节点存活，Zookeeper集群就能正常服务。
   
   3、全局数据一致：每个server保存一份相同的数据副本，Client无论连接到哪个server，数据都是一致的。
   
   4、更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
   
   5、数据更新原子性，依次数据更新要么成功，要么失败。
   
   6、实时性，在一定时间范围内，Client能读到最新数据
   
提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

（1）集群部署规划

hadoop102	hadoop103	hadoop104
zookeeper	zookeeper	zookeeper

（2）安装Zookeeper

cd /opt/software/	#进入/opt/software/目录
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/	#把Zookeeper解压到/opt/module/目录下

cd /opt/module/
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7 #重命名

（3）配置zook.cfg文件

cd /opt/module/zookeeper/conf
mv zoo-sample.cfg zoo.cfg
vim zoo.cfg

修改添加如下配置：

dataDir=/opt/module/zookeeper-3.5.7/zkData	#修改数据存储路径配置

#在最后添加加以下配置：
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

# 配置参数解读：
server.A=B:C:D。
A：是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

B：是这个服务器的地址；

C：是这个服务器Follower与集群中的Leader服务器交换信息的端口；

D：是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

（4）配置服务器编号

cd /opt/module/zookeeper-3.5.7	#进入Zookeeper家目录
mkdir zkData	#创建zkData目录
vim zkData/myid	#创建并编辑一个myid的文件

在myid文件中添加与server对应的编号：

2	# 注意：分别在hadoop103、hadoop104上修改myid文件中内容为3、4

（5）配置Zookeeper环境变量

sudo vim /etc/profile.d/my_env.sh

添加如下配置：

#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile.d/my_env.sh	#使环境变量生效

（6）配置文件分发

cd /opt/module/	# 进入/opt/module/目录
scp -r zookeeper-3.5.7/ 目标地址:/opt/module/	#分发zookeeper-3.5.7
sudo scp -r /etc/profile.d/my_env.sh 目标地址:/etc/profile.d/my_env.sh	#分发环境变量配置

（7）集群启动

cd /opt/module/zookeeper-3.5.7	#进入/opt/module/zookeeper-3.5.7目录
bin/zkServer.sh start	#启动zookeeper命令，注意：hadoop的三台都需要执行，才能成功启动！
bin/zkServer.sh stop	#关闭启动zookeeper命令
bin/zkServer.sh status	#查看zookeeper状态命令

（8）zookeeper群启脚本

cd /home/tan/	#进入用户家目录
mkdir bin		#新建一个bin目录
vim /bin/zk.sh	#编写脚本
chmod +x zk.sh  #赋予可执行权限

zk.sh 脚本代码编写如下：

#!/bin/bash
case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
    done
};;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
    done
};;
"status"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo "------------- $i -------------"
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
    done
};;
esac

[tan@hadoop102 ~]$ zk.sh status
------------- hadoop102 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
------------- hadoop103 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
------------- hadoop104 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader