第三章 Zookeeper分布式集群部署(2n+1台虚拟机)

本文档详细介绍了Zookeeper分布式集群的部署,包括从下载安装包、配置环境变量到启动服务的全过程,并逐步展示了如何搭建Hadoop高可用集群。此外,还涵盖了Hive的安装与配置以及Spark的独立模式部署和高可用配置,为读者提供了一套完整的大型数据处理环境的构建指南。
摘要由CSDN通过智能技术生成

系列文章:
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署(2n+1台虚拟机)
第四章 Hadoop高可用集群搭建(HA)
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署(Standalone)
第十章 spark配置历史服务
第十一章 搭建Spark高可用(HA)
第十二章 spark配置Yarn模式(混合部署模式)
待更新
博客推荐系统(适合初学者的javaweb+hadoop结课设计)
毕业设计 博客分享平台的设计与实现(博客推荐系统升级版、大数据组件、可视化大屏、文章查重)



一、下载安装包

   清华镜像下载连接:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

二、上传安装包,并解压至/export/servers目录下

   进入/export/sofware/目录,用rz命令上传zookeeper安装包至虚拟机的/export/sofware/目录下。
   安装包解压至/export/servers目录下:

tar -zxvf zookeeper-3.4.10 -C /export/servers

三、修改配置文件

   先进入zookeeper的conf目录,执行以下操作。

mv zoo_sample.cfg zoo.cfg

   添加以下内容:

#设置数据文件目录和数据持久化路径
dataDir=/export/data/zookeeper/zkdata
#设置zookeeper集群的服务器编号以及对应的主机名、选举端口号和通信端口号(心跳端口)
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

   创建目录:

mkdir -p /export/data/zookeeper/zkdata

   在zkdata目录下创建myid文件,用于存放当前虚拟机的编号(hadoop01是1,hadoop02是2,hadoop03是3),以node1为例,命令如下:

echo 1 > /export/data/zookeeper/zkdata/myid

四、配置环境变量

   修改/etc/profile:

vim /etc/profile

   添加如下内容:

export ZK_HOME=/export/servers/zookeeper-3.4.10
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin

五、将zookeeper相关文件和修改后的/etc/profile文件分发到其他虚拟机。

scp -r /export/servers/zookeeper-3.4.10 hadoop02:/export/servers
scp -r /export/servers/zookeeper-3.4.10 hadoop03:/export/servers

#将myid文件分发到其他虚拟机,并将另外台虚拟机的myid文件内容分别改成对应的编号(2和3)
scp -r /export/data/zookeeper hadoop03:/export/data
scp -r /export/data/zookeeper hadoop03:/export/data
#环境变量文件分发到其他虚拟机
scp -r /etc/profile hadoop02:/etc/profile
scp -r /etc/profile hadoop03:/etc/profile

   将三台虚拟机的环境变量生效,均执行以下命令:

source /etc/profile

六、zookeeper服务的启动与关闭

   启动服务前关闭三台虚拟机的防火墙,使三台虚拟机能够通讯。否则服务无法启动成功。虚拟机(文章以CentOS为例)均执行以下命令:

service iptables stop

   先进入zookeeper的bin目录。
   启动:每台虚拟机均执行以下命令

./zkServer.sh start

   关闭:每台虚拟机均执行以下命令

./zkServer.sh stop
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

开朗小哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值