Zookeeper集群部署安装

最新推荐文章于 2024-09-18 13:20:46 发布
最新推荐文章于 2024-09-18 13:20:46 发布
阅读量811 收藏 16
点赞数 21
分类专栏： 大数据组件安装部署 文章标签： zookeeper 分布式 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82567159/article/details/140915179
版权

Zookeeper部署安装

​ 本节点主要介绍安装Zookeeper集群部署的主要步骤。本次实训使用三个节点完成集群的搭建，分别是master、slaves1、slaves2
​ 在安装Zookeeper集群时，我们需要完成一些准备工作，包括网络配置、关闭防火墙、安装SSH和安装JDK环境等。

一、网络配置

态分配的IP地址是临时的，它会在一定时间内释放该IP地址供其他机器使用，因此使用该方式获取的IP地址不是固定的，这样会导致集群不稳定。因此我们需要设置为静态IP，具体操作如下：

  1. 打开【/etc/sysconfig/network-scripts/ifcfg-ens33】文件。

    vi /etc/sysconfig/network-scripts/ifcfg-ens33

  2. 该文件为网卡配置文件，对该文件做以下修改：

    BOOTPROTO="static"

    打开虚拟机【编辑】->【虚拟网络编辑器】，查看VMnet8网卡的子网IP地址。
    在这里插入图片描述

点击【NAT设置】界面，查看网关IP地址。
在这里插入图片描述

再向ifcfg-ens33添加以下内容：

IPADDR=192.168.80.160	#前3个数必须与网关IP的前3个数必须一致，最后一个数则随机填入1-255的数字，组成新的IP地址，该IP必须是未被占用的。
GATEWAY=192.168.80.2	#输入VMnet8网关IP地址
DNS1=114.114.114.114

注意：此处每台机器节点配置不一样，大家先进行子网IP查询，再添加以上内容。

  1. 重启网络
systemctl restart network
  1. 网络测试，尝试连接百度地址，如果能正常连接成功，则表示网络配置完成。
ping www.baidu.com

在这里插入图片描述

二、关闭防火墙和SELinux

注意：这个步骤只是为了我们学习方便，在实际工作中绝对不可以关闭防火墙，只能在防火墙配置需要开放的端口即可。

  1. 查看当前防火墙状态

    systemctl status firewalld.service

    CentOS 7默认是开机启动防火墙。因此我们要关闭防火墙并停止开启自动启动防火墙设置。

    在这里插入图片描述

  2. 关闭当前防火墙

systemctl stop firewalld.service
  1. 关闭防火墙的开机自启
systemctl disable firewalld
  1. 关闭后再查看防火墙状态。
systemctl status firewalld.service

在这里插入图片描述
如果防火墙状态变为Inactive(dead)状态，则表示防火墙关闭成功。

关闭完防火墙后，我们即可使用XShell工具连接。

  1. Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。SELinux的配置同防火墙一样，非常复杂，课程中不多涉及，后续视情况可以出一章SELinux的配置课程。在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可，

    修改/etc/sysconfig/selinux文件

    vim /etc/sysconfig/selinux

    修改文件内容。

    #将第7行的SELINUX=enforcing改为,保存退出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统
SELINUX=disabled

三、安装JDK1.8环境

JDK安装步骤请参考该链接：https://blog.csdn.net/2401_82567159/article/details/140915141

四、复制CentOS镜像

安装集群化软件，首要条件就是要有多台Linux服务器可用。我们可以使用VMware提供的克隆功能，将我们的虚拟机额外克隆出3台来使用。

  1. 首先，关闭当前CentOS系统虚拟机

  2. 在VMWare工具中新建文件夹，命名为：Hadoop集群,将master机器拖到Hadoop集群文件夹中。

    在这里插入图片描述

  3. 克隆master节点。鼠标右键点击【master】节点，选择【管理】->【克隆】进入虚拟机克隆管理界面。

    在这里插入图片描述

    克隆虚拟机当前状态。

    在这里插入图片描述

    选择【创建完整克隆】

    在这里插入图片描述

    虚拟机名称为salves1,保存路径设置到不还原盘中。点击【完成】。

    在这里插入图片描述

  4. 按照以上操作，克隆出第二个节点：slaves2,并将slaves1与slaves2放到Hadoop集群文件夹中。

    在这里插入图片描述

  5. 开启slaves1节点，修改slaves1节点的配置。

    ① 修改slaves1节点的主机名为slaves1

    hostnamectl set-hostname slaves1

    ② 修改slaves1节点的固定ip为：192.168.80.161**（注意IP地址前3个数需跟VMnet8 IP网关地址前3个数必须一致）**

    vim /etc/sysconfig/network-scripts/ifcfg-ens33

    修改IPADDR的值

    IPADDR=192.168.80.161

  6. 开启slaves2节点，修改slaves2节点的配置。

    按照第5步步骤，将slaves2节点的主机名设置为slaves2，ip设置为：192.168.80.162**（注意IP地址前3个数需跟VMnet8 IP网关地址前3个数必须一致）**

  7. 配置主机名映射

    修改CentOS系统中的/etc/hosts文件。

    vim /etc/hosts

    在文件末端添加以下内容

    192.168.80.160	master
192.168.80.161	slaves1
192.168.80.162	slaves2

    注意：3台节点都需要修改

五、 配置SSH免密登录

​ 后续安装的集群，都需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登录。

  1. 在每一台机器执行

    ssh-keygen -t rsa

    一直回车确认即可。

  2. 在每一台机器节点执行一下指令，

    ssh-copy-id master
ssh-copy-id slaves1
ssh-copy-id slaves2
#进行免密操作时会询问是否继续连接，输入“yes”后，再输入登录密码完成操作。

  3. 执行完毕后，使用SSH测试远程登录，如果三台机器能相互登录，且无须输入密码，即代表免密配置成功。

    ssh master		#远程登录master节点
exit			#退出登录
ssh slaves1		#远程登录slaves1节点
exit			#退出登录
ssh slaves2		#远程登录slaves2节点
exit			#退出登录

六、配置Zookeeper集群

​ ZooKeeper 在 Hadoop HA 模式中发挥了关键的协调、状态管理和故障处理的作用，大大提高了 Hadoop 集群的可用性和可靠性。以下为Zookeeper配置步骤。

  1. 下载Zookeeper组件。

    从Zookeeper官网中下载Zookeeper3.5.10版本的安装包，下载链接为：Index of /dist/zookeeper/zookeeper-3.5.10 (apache.org)

  2. 使用XFTP上传安装包到master节点的/root/module目录下

  3. 解压ZooKeeper到/usr/local目录下

    cd /root/module
tar -zxvf apache-zookeeper-3.5.10-bin.tar.gz -C /usr/local

  4. 切换到/usr/local/文件夹，将zookeeper-3.4.6重命名为zookeeper

    cd /usr/local
mv apache-zookeeper-3.5.10-bin zookeeper

  5. 配置Zookeeper环境变量

    vim /etc/profile

    在最下面添加以下内容

    export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

  6. 重新加载环境变量，使环境变量生效。

    source /etc/profile

  7. 将/usr/local/zookeeper/conf/zoo_sample.cfg重命名为zoo.cfg(ZooKeeper的配置文件)

    cd /usr/local/zookeeper/conf/
mv zoo_sample.cfg zoo.cfg

  8. 修改Zookeeper的配置文件zoo.cfg

    vi zoo.cfg

    修改dataDir内容：

    dataDir=/usr/local/zookeeper/zkdata

    在文末添加以下内容：

    server.1=master:2888:3888
server.2=slaves1:2888:3888
server.3=slaves2:2888:3888

  9. 新建/usr/local/zookeeper/zkdata，在该目录下新建文件myid

    cd /usr/local/zookeeper/
mkdir zkdata
cd zkdata
echo 1 >> myid

  10. 复制zookeeper目录到slaves1与slaves2节点

    scp -r /usr/local/zookeeper root@slaves1:/usr/local
scp -r /usr/local/zookeeper root@slaves2:/usr/local

  11. 修改slaves1中的myid文件为2，slaves2中的myid的节点为3

    #在slaves1节点中操作
cd /usr/local/zookeeper/zkdata/
echo 2 > myid
#在slaves2节点中操作
cd /usr/local/zookeeper/zkdata/
echo 3 > myid

  12. 配置slaves1与slaves2的Zookeeper的环境变量，并使其生效。

    #在slaves1与slaves2节点中操作
vim /etc/profile

    在文件末端添加以下内容：

    export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

    重新加载环境变量，使环境变量生效

    source /etc/profile

  13. 启动集群，分别在三个节点中启动zookeeper

    zkServer.sh start

  14. 使用zkServer.sh查看三个节点的状态

    zkServer.sh status

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    三台节点中，有一台为Leader，则表示Zookeeper集群部署成功

大数据狗都不学7
关注
专栏目录
Zookeeper 集群部署
随笔亦行
08-28 1076
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。zookeeper 集群node节点数量 n -1宕机，集群认仍然可以正常提供服务，所以一般以奇数的节点组成集群，故节点数量为通常为 3节点，5节点 …............
CentOS 7下Zookeeper 集群安装部署
ddxshf的博客
11-15 218
环境准备 三台CentOS 7系统 JDK 1.8 1、下载Zookeeper wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz 2、解压缩 tar -zxvf zookeeper-3.4.13.tar.gz 3、参数配置 cd zookeeper-3.4.1...
【zookeeper安装】zookeeper安装详细教程（单机/集群部署）（linux版）
最新发布
QDNBD的博客
09-18 1374
本文章主要介绍在Centos系统，虚拟机上安装zookeeper用来单机部署或集群部署，可为大数据组件或ambari管理中使用。教程安装的是Zookeeper3.4.6版本，安装其他版本的也可以参考该文档。
zookeeper超详细安装集群部署
。。。。
05-09 2728
进入zookeeper配置文件给配置文件重命名为zoo.cfg配置文件介绍。
Zookeeper集群安装部署
杨阿阳的Blog
04-12 156
Zookeeper集群安装部署 环境准备 假设现在有3台机器：master，slave1，slave2。在这三台机器上安装Zookeeper。在安装Zookeeper之前需要先安装JDK环境，这里的JDK使用1.8的，Linux系统使用Centos7 64位操作系统。Hadoop使用的Hadoop2.6.x版本。 JDK安装： tar zxvf 解压，将其目录加入到.bashrc中 时钟同步 首先安装Zookeeper之前需要对各个主机之间进行时钟同步，因为Hadoop对集群中各个机器的时间同步要求比较高，
zookeeper集群安装部署
黄大大的java学习笔记
07-18 654
Zookeeper集群的安装部署
zookeeper集群安装搭建详解
我壮壮壮的博客
12-30 343
*节点名称全文不统一，请根据读者意愿在/etc/hosts中进行修改 安装前需要安装好jdk ##下载安装包、解压 tar -zxvf zookeeper-3.4.5.tar.gz mv zookeeper-3.4.5 zookeeper ##修改环境变量（注意：3台zookeeper都需要修改） vi /etc/profile export
zookeeper超详细安装集群部署_zookeeper集群安装部署
2401_84182936的博客
04-12 4436
进入zookeeper配置文件给配置文件重命名为zoo.cfg配置文件介绍# 用于计算基础的实际单位# 初始化时间# 选举时间# 配置zookeeper数据存放路径首先zookeeper目录下创建zookeeper数据和日志的存放目录，并且添加文件读写权限mkdir datamkdir logs如图修改配置文件集群配置# 集群配置 2888:选举端口 3888:投票端口KAFKA001 表示的是主机名，亦可以写IP地址查看主机名设置主机名在之前创建。
zookeeper集群部署
步荀仙的博客
10-09 3338
zookeeper
Kafka+zookeeper集群部署
changyitt的博客
08-09 748
echo -------------------------------- $i kafka 启动 ---------------------------echo -------------------------------- $i kafka 停止 ---------------------------mkdir /opt/zookeeper/zk1/{data,logs} ##在虚机192.168.190.151上。启停kafka：./kafka-cluster.sh stop。
Zookeeper集群部署3.5.5.docx
09-14
"Zookeeper集群部署3.5.5" Zookeeper是一个开源的分布式协调服务，能够提供高可用性和可靠性的集群管理。以下是Zookeeper集群部署3.5.5的详细知识点： 一、前提条件 * 关闭防火墙，以确保集群的安全和可靠性。 ...
zookeeper集群部署文档.txt
04-10
zookeeper是现在大数据领域不可或缺的组件，它用于Hadoop生态圈多个组件的HA配置，协调各个节点有序进行工作，在这里，我将一步一步教你搭建生产使用的zookeeper集群。
Zookeeper集群安装
qq_66281927的博客
07-24 1009
Zookeeper集群部署及简单客户端基本命令操作
ZooKeper集群的安装部署
m0_61232019的博客
10-25 2910
一、前期准备 二、环境搭建 三、 集群测试 四、问题总结
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值