大数据集群平台部署--Zookeeper安装与配置

Zookeeper的安装与配置



Zookeeper概述

功能:
在这里插入图片描述
Zookeeper = 文件系统+通知机制

角色介绍:
在这里插入图片描述
在这里插入图片描述
Leader作用:
在这里插入图片描述

Follower 作用:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

选举Leader过程:在这里插入图片描述

先给自己投,后面myid高投后者,票数过半,当选


3.2 Zookeeper安装(所有机器都要)

示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。

二、使用步骤

1.准备将windows系统中的zookeeper上传到/opt/soft:

cd /opt/soft   #由于之前创建过了这里直接切换到/opt/soft目录

2.点击上传按钮,将zookeeper上传
3.将zookeeper安装到特定的目录下面:

mkdir -p /usr/zookeeper     #创建一个目录用来安装zookeeper

4.安装:

tar  -zxvf   zookeeper-3.4.10.tar.gz  -C  /usr/zookeeper

3.3 Zookeeper配置(所有机器都需要)

1.切换到相关目录

cd  /usr/zookeeper/ zookeeper-3.4.10/conf    #接下来的步骤我们在这个目录下进行

2.ls #查看该目录下面有什么
3.我们需要配置文件,但是从“ls”可知,只给了我们一个模板,需要我们复制一份,然后再配置文件
4.cp zoo_sample.cfg zoo.cfg
#zoo.cfg是它的新名字,内容和zoo_sample.cfg一样
5.编辑zoo.cfg

vi zoo.cfg

改为
在这里插入图片描述
在这里插入图片描述
6.返回上一级位置
cd …
7.创建我们在第5步要创建的文件

mkdir zkdata
mkdir zkdatalog

8.进入到zkdata目录下创建一个新文件并编辑它

cd zkdata
vi myid

编辑的内容和虚拟机有关系,如果是master,里面写入1,如果是slave1里面写入2,如果是slave2,里面写入3,如果是masterbak,里面写入4.

9.接下来我们还要配置另外两台虚拟机,为了方便,我们直接远用scp,将master的zookeeper整个文件夹远程拷贝给slave1,slave2,masterbak,这样就不需要配置了

scp   -r  /usr/zookeeper  root@slave1:/usr  #这里考的是文件夹所以是scp -r 命令
scp   -r  /usr/zookeeper  root@slave2:/usr    #同样拷一份到slave2中去
scp   -r  /usr/zookeeper  root@masterbak:/usr 

10.拷贝过来的内容仍然需要做一些修改
到slave1中

cd /usr/zookeeper/zookeeper-3.4.10/zkdata   #切换到该目录下

11.对myid 文件中的内容进行修改,因为不同的虚拟机,里面的内容不一样

  vi myid

将里面的内容改为2
12.slave2同上10,11步骤,不同的是myid文件中,内容改为3

13.masterbak 同上


配置zookeeper的环境变量(所有都需要)


1.进入到指定的文件夹

vi /etc/profile

zookeeper的环境变量放在Java的环境变量下面
在这里插入图片描述
2.使环境变量生效

source /etc/profile

3.运行zookeeper
必须在zookeeper安装目录下

cd /usr/zookeeper/zookeeper-3.4.10
bin/zkServer.sh start       #这一步必须所有机器同时运行

在这里插入图片描述
可能会出现错误:关闭防火墙再看状态即可(systemctl stop firewalld)

bin/zkServer.sh status   #这一步选出谁是领导者谁是跟随者

3.4 Zookeeper运行

Zookeeper的文件系统
在这里插入图片描述

Zookeeper的数据同步的特点
在这里插入图片描述

Zookeeper的数据广播
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Zookeeper的重新选举
在这里插入图片描述
在这里插入图片描述

崩溃恢复:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

服务器端口应对应该虚拟机的主机号,最后的端口对应原 conf 下 zoo.cfg 文件中所带的 Cli 端口,否则拒绝连接
即在 master(192.168.222.171)下应为

bin/zkCli.sh -timeout 5000 -r -server 192.168.222.171:2181

在这里插入图片描述
在这里插入图片描述

节点的创建和查看
在这里插入图片描述

get path:获取指定节点的内容【数据信息】

ls2 path:列出path节点的子节点及状态信息

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
大数据平台自动化部署是一项相对复杂而且需要耗费一定时间的工作,但它能够大大提高大数据平台部署效率和可靠性。下面是一个基于Hadoop生态的自动化部署平台的搭建步骤: 1. 确定部署环境 首先需要确定部署环境的配置,包括硬件配置、操作系统、网络等。一般来说,大数据平台需要较高的计算、存储和网络性能,推荐使用64位操作系统,至少8GB内存,至少2个CPU核心。 2. 安装Java Hadoop等大数据平台是基于Java开发的,因此需要安装Java运行环境。可以从Oracle官网下载JDK安装包,然后按照提示进行安装。 3. 安装Hadoop Hadoop是大数据平台的核心组件之一,需要先安装Hadoop。可以从Apache官网下载Hadoop安装包,并按照官方文档进行安装和配置。 4. 安装Zookeeper Zookeeper是一个分布式协调服务,是Hadoop集群中必不可少的组件之一。可以从Apache官网下载Zookeeper安装包,然后按照官方文档进行安装和配置。 5. 安装Hive Hive是一个基于Hadoop的数据仓库工具,可以方便地进行数据分析和查询。可以从Apache官网下载Hive安装包,然后按照官方文档进行安装和配置。 6. 安装HBase HBase是一个分布式的NoSQL数据库,可以存储海量数据。可以从Apache官网下载HBase安装包,然后按照官方文档进行安装和配置。 7. 安装Spark Spark是一个快速、通用、可扩展的大数据处理引擎。可以从Apache官网下载Spark安装包,然后按照官方文档进行安装和配置。 8. 安装其他组件 根据实际需求,可以安装其他大数据组件,比如Kafka、Flume、Storm等。 9. 配置自动化部署工具 选择一个适合自己的自动化部署工具,比如Puppet、Ansible、Chef等,并按照其官方文档进行配置和使用。 10. 编写部署脚本 根据自己的需求和实际情况,编写自动化部署脚本,包括安装和配置大数据组件、启动和停止服务等。 11. 测试和调试 完成自动化部署平台的搭建后,需要进行测试和调试,确保每个组件都能正常运行,部署过程中没有任何问题。 以上就是基于Hadoop生态的自动化部署平台的搭建步骤。需要注意的是,每个组件的安装和配置都比较复杂,需要仔细阅读官方文档,并按照要求进行操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小伍_Five

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值