zookeeper3.7集群搭建

服务器

准备三台centos7服务器,假设IP分别为host_0、host_1、host_2

zk安装

1、新建目录用来安装zookeeper 

mkdir /home/lc/application/zookeeper 
cd /home/lc/application/zookeeper

2、创建zk数据存放目录

mkdir zkdata

3、下载zookeeper3.7版本

wget https://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz

4、解压

tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz

5、复制配置文件

cd apache-zookeeper-3.7.0-bin/conf/ 
cp zoo_sample.cfg zoo.cfg

6、配置文件修改

主要修改下面几个配置(需要保证端口号不被占用),其它的默认,三台服务器配置项相同

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/lc/application/zookeeper/zkdata
#服务器配置
server.0=host_0:2888:3888
server.1=host_1:2888:3888
server.2=host_2:2888:3888

7、创建myid文件

在三台服务器zkdata目录下面分别myid文件,分别写入上面服务器配置中server后面的数字

cd /home/lc/application/zookeeper/zkdata
#server.0
echo "0" > myid
#server.1
echo "1" > myid
#server.2
echo "2" > myid

8、配置环境变量

vim /etc/profile
# zookeeper environment
export ZK_HOME=/home/lc/application/zookeeper/apache-zookeeper-3.7.0-bin
export PATH=$PATH:$ZK_HOME/bin
source /etc/profile

9、防火墙配置

关闭防火墙保证端口可通信,使用下面的前三条命令,也可以不关防火墙开通相对应的端口

#查看防火墙状态
systemctl status firewalld.service
#关闭防火墙
systemctl stop firewalld.service
#禁止防火墙随系统启动
systemctl disable firewalld.service
#启动防火墙(不用设置)
systemctl start firewalld.service
#防火墙随系统开启启动(不用设置)
systemctl enable firewalld.service

10、启动zookeeper

#启动
zkServer.sh start
#停止
zkServer.sh stop
#重启
zkServer.sh restart
#查看状态
zkServer.sh status

如果有一台服务器打印Mode:leader,其它服务器打印Mode:follwer则表示安装成功

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Zookeeper和Kafka集群搭建是一种常用的架构设计方法。Zookeeper是一种分布式的协调服务,在Kafka集群搭建中主要用于存储元数据信息和管理集群的状态。而Kafka则是一种高吞吐量的消息队列系统,可实现大规模的数据传输和处理。通过Zookeeper和Kafka集群搭建,可以提高系统的可靠性和可扩展性。 ### 回答2: Zookeeper和Kafka是Apache软件基金会下的两个重要的分布式应用程序,它们都是构建可靠、可扩展、具有高性能的分布式应用体系结构的两个重要组件。下面将介绍如何搭建一个Kafka集群,并使用Zookeeper来实现其高可用性。 1. 准备工作 为了搭建Kafka集群,您需要在您的每个服务器上安装Java环境。建议将Java安装在/opt/java/目录下,并将JAVA_HOME变量设置为/opt/java/jdk1.8.0_301。 2. 下载和安装Zookeeper 首先,您需要从Zookeeper的官方网站上下载最新版本的Zookeeper。选择合适版本的二进制文件下载即可。完成后,将Zookeeper解压到/opt/zookeeper/目录下。编辑/opt/zookeeper/conf/zoo.cfg,设置数据目录和Zookeeper服务器列表,例如:dataDir=/opt/zookeeper/data server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 3. 配置Kafka集群 将Kafka的二进制文件下载到您的服务器,解压到/opt/kafka目录下。编辑/opt/kafka/config/server.properties文件,将以下参数设置为适当的值: broker.id=1 listeners=PLAINTEXT://kafka1:9092 advertised.listeners=PLAINTEXT://kafka1:9092 log.dirs=/opt/kafka/logs num.partitions=3 其中broker.id是唯一的标识符,listeners和advertised.listeners指定Kafka服务器的地址,log.dirs指定存储Kafka数据的目录,num.partitions指定在Kafka服务器上创建的分区数。 4. 启动Zookeeper和Kafka 在Zookeeper服务器上启动Zookeeper:/opt/zookeeper/bin/zkServer.sh start 在Kafka服务器上启动Kafka:/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties 如果Kafka服务器和Zookeeper服务器在同一台服务器上运行,则必须在不同的终端中启动它们。根据需要,将Kafka服务器配置文件中的其他参数设置为适当的值。 5. 测试Kafka集群 通过创建新的主题并发送一些消息进行测试。在另一个终端中,创建一个名为test的新主题:/opt/kafka/bin/kafka-topics.sh --create --zookeeper zk1:2181 --replication-factor 2 --partitions 3 --topic test 在同一终端中,发送一些消息:/opt/kafka/bin/kafka-console-producer.sh --broker-list kafka1:9092 --topic test 在另一个终端中,接收这些消息:/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic test --from-beginning 以上是一个简单的Kafka集群搭建过程,由Zookeeper来管理Kafka集群的状态。当Kafka集群中的任何一个服务器发生故障时,Zookeeper将自动将客户端重定向到另一个可用服务器。通过Zookeeper和Kafka的结合,您可以构建高可用、高性能的分布式应用程序。 ### 回答3: Kafka是一种高效、可扩展的分布式消息系统,而Zookeeper则是Kafka集群的重要组成部分。通过Zookeeper,Kafka集群可以实现高可用性和自动化管理。 以下是Zookeeper Kafka集群搭建的步骤: 第一步:安装Zookeeper Zookeeper的安装可以通过下载二进制包进行安装,也可以通过源码进行编译安装。这里我们以二进制包的方式进行安装。 1. 下载Zookeeper二进制包并解压缩。 2. 进入解压后的Zookeeper目录,复制conf文件夹中的zoo_sample.cfg,并修改名称为zoo.cfg。 3. 修改zoo.cfg文件中的数据和日志路径,并设置为本地有效的路径。例如: tickTime=2000 dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/logs 4. 启动Zookeeper: ./bin/zkServer.sh start 第二步:安装Kafka Kafka的安装可以通过下载二进制包进行安装,也可以通过源码进行编译安装。这里我们以二进制包的方式进行安装。 1. 下载Kafka二进制包并解压缩。 2. 进入解压后的Kafka目录,修改config/server.properties文件,设置broker.id、listeners、log.dirs以及zookeeper.connect等属性。 broker.id=1 listeners=PLAINTEXT://hostname:9092 log.dirs=/usr/local/kafka/logs zookeeper.connect=hostname:2181 3. 启动Kafka: ./bin/kafka-server-start.sh config/server.properties 第三步:创建Kafka主题 在Kafka上,消息以主题的形式进行组织。要创建一个主题,可以使用以下命令: ./bin/kafka-topics.sh --create --zookeeper hostname:2181 --replication-factor 1 --partitions 1 --topic test 其中,replication-factor表示复制因子,partitions表示分区数,topic表示主题名称。 第四步:启动Kafka生产者和消费者 通过Kafka生产者,可以往指定主题发送消息,而通过Kafka消费者,可以从指定主题接收消息。 启动Kafka生产者: ./bin/kafka-console-producer.sh --broker-list hostname:9092 --topic test 启动Kafka消费者: ./bin/kafka-console-consumer.sh --bootstrap-server hostname:9092 --topic test --from-beginning 以上就是Zookeeper Kafka集群搭建的步骤。通过以上步骤,可以快速搭建一个高效、可扩展的Kafka集群,满足您的消息传输需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值