zookeeper+kafka二进制集群安装

最新推荐文章于 2023-09-18 11:40:47 发布
最新推荐文章于 2023-09-18 11:40:47 发布
阅读量232 收藏 1
点赞数
分类专栏： zookeeper+kafka 文章标签： kafka java-zookeeper zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42030523/article/details/128582859
版权

1、环境准备

主机名称       IP地址zookeeper版本kafka版本安装位置
zookeeper01192.168.124.251apache-zookeeper-3.6.3kafka_2.13-3.0.2/opt/zookeeper、/opt/kafka
zookeeper02192.168.124.252apache-zookeeper-3.6.3kafka_2.13-3.0.2/opt/zookeeper、/opt/kafka
zookeeper03192.168.124.253apache-zookeeper-3.6.3kafka_2.13-3.0.2/opt/zookeeper、/opt/kafka

1.1、下载地址

zookeeper下载地址：https://archive.apache.org/dist/zookeeper/
kafka下载地址：https://downloads.apache.org/kafka/

2、安装JDK

三台机器都要安装

下载地址：Java Downloads | Oracle

tar -zxf jdk-8u201-linux-x64.tar.gz -C /usr/local/

#最后一行添加变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_201/
export JAVA_HOME=/usr/local/jdk1.8.0_201/jre
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
#生效变量
source /etc/profile
#查看版本
java -version

java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

3、初始化系统

三台都要操作

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭 selinux
setenforce 0
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

# 设置主机名
hostnamectl set-hostname zookeeper01
hostnamectl set-hostname zookeeper02
hostnamectl set-hostname zookeeper03

# 添加hosts文件
cat >> /etc/hosts <<EOF
192.168.124.251 zookeeper01
192.168.124.252 zookeeper02
192.168.124.253 zookeeper03
EOF

4、部署zookeeper集群

4.1、创建目录

zookeeper01、zookeeper02、zookeeper03都要创建


mkdir -p /opt/zookeeper/{data,logs}

4.2、解压安装包

tar -zxf apache-zookeeper-3.6.3.tar.gz -C /opt/zookeeper/

4.3、重命名配置文件

cd /opt/zookeeper/apache-zookeeper-3.6.3/conf/
mv zoo_sample.cfg zoo.cfg

4.4、修改配置文件

zookeeper01、zookeeper02、zookeeper03 修改一样

cat > zoo.cfg <<EOF
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs
clientPort=2181
server.1=192.168.19.251:2888:3888
server.2=192.168.19.252:2888:3888
server.3=192.168.19.253:2888:3888
EOF

4.5、创建myid文件

zookeeper01的配置

cd /opt/zookeeper/data/
touch myid
echo 1 > myid

zookeeper02的配置

cd /opt/zookeeper/data/
touch myid
echo 2 > myid

zookeeper03的配置

cd /opt/zookeeper/data/
touch myid
echo 3 > myid

4.6、停止和启动

cd /opt/zookeeper/apache-zookeeper-3.6.3/bin/
./zkServer.sh start    #启动
./zkServer.sh stop     #停止
./zkServer.sh status   #查看状态

#查看三台的zookeeper状态，成功
mode：follower    # 从
mode：leader      # 主
mode：follower    # 从

5、部署kafka集群

5.1、创建目录

mkdir -p /opt/kafka/{logs}

5.2、解压安装包

tar -zxf kafka_2.13-3.0.2.tgz -C /opt/kafka/

5.3、修改配置文件

zookeeper01的配置

cd /opt/kafka/kafka_2.13-3.0.2/config
cp -r server.properties server.properties.bak

cat >server.properties <<EOF
broker.id=1
listeners=PLAINTEXT://192.168.124.251:9092
num.network.threads=12
num.io.threads=24
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=12
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.124.251:2181,192.168.124.252:2181,192.168.124.253:2181
zookeeper.connection.timeout.ms=18000
EOF

zookeeper02的配置

cat >server.properties <<EOF
broker.id=2
listeners=PLAINTEXT://192.168.124.252:9092
num.network.threads=12
num.io.threads=24
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=12
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.124.251:2181,192.168.124.252:2181,192.168.124.253:2181
zookeeper.connection.timeout.ms=18000
EOF

zookeeper03的配置

cat >server.properties <<EOF
broker.id=3
listeners=PLAINTEXT://192.168.124.253:9092
num.network.threads=12
num.io.threads=24
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=12
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.124.251:2181,192.168.124.252:2181,192.168.124.253:2181
zookeeper.connection.timeout.ms=18000
EOF

5.4、启动kafka

cd /opt/kafka/kafka_2.13-3.0.2/bin/
nohup ./kafka-server-start.sh ../config/server.properties &>> /opt/kafka/logs/ &

5.5、验证kafka

 #创建 topic long
 ./kafka-topics.sh --create --bootstrap-server 192.168.124.251:9092,192.168.124.252:9092,192.168.124.253:9092 --replication-factor 3 --partitions 3 --topic long
 
 #列出所有topic
./kafka-topics.sh --list --bootstrap-server 192.168.124.251:9092
./kafka-topics.sh --list --bootstrap-server 192.168.124.252:9092
./kafka-topics.sh --list --bootstrap-server 192.168.124.253:9092

5.6、验证消费

# 在 zookeeper01 发布消息
./kafka-console-producer.sh --broker-list  192.168.124.251:9092 --topic long
>veritcation
>zoo

# 在 zookeeper02 消费
./kafka-console-consumer.sh --bootstrap-server 192.168.124.252:9092 --topic long --from-beginning

输出如下
veritcation
zoo

# 在  zookeeper03 消费
./kafka-console-consumer.sh --bootstrap-server 192.168.124.252:9092 --topic long --from-beginning

输出如下
veritcation
zoo

5.7、验证zookeeper

# 进入 zookeeper 客户端
./zkCli.sh
[zk: localhost:2181(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
[zk: localhost:2181(CONNECTED) 2] ls /config 
[brokers, changes, clients, ips, topics, users]
[zk: localhost:2181(CONNECTED) 3] ls /config/brokers
[]
[zk: localhost:2181(CONNECTED) 4] ls /config/topics 
[__consumer_offsets, long]

到这里完成集群的验证与安装

给你对象一枪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka二进制集群搭建
weixin_44176074的博客
05-04 415
搭建kafka 搭建kafka单机版（使用二进制文件） 上传二进制kafka安装包 pass 上传基础的jdk环境 tar -zxvf jdk-8u112-linux-x64.tar.gz -C ~ echo export PATH=/home/apps/jdk1.8.0_112/bin:$PATH >> ~/.bash_profile source ~/.bash_profile java -version 配置zookeeper配置文件 dataDir=/home/apps/kafka/
kafka_2.12-2.1.1.zip（卡夫卡二进制版本，免编译安装）
09-06
kafka_2.12-2.1.1.zip（卡夫卡二进制版本，免编译安装）
kafka centos/7 二进制安装
sweetCandy_m的博客
12-11 1727
kakfa centos7二进制安装
Centos7.5 zookeeper安装(.tar.gz二进制安装)
weixin_43840640的博客
03-14 918
安装环境 1.从官方网站下载最新的稳定版本，目前是zookeeper-3.4.13 http://mirrors.shu.edu.cn/apache/zookeeper/stable/ 2.三台Linux系统服务器： server.1=10.255.29.29 server.2=10.255.29.30 server.3=10.255.29.31 3.将下载的zookeeper-3.4.13压缩包...
2.kafka 安装
enlyhua的专栏
08-09 613
步骤 ： 1.jdk2.官网二进制包下载，解压http://kafka.apache.org/downloads.html 3.配置，启动 zookerper bin/zookeeper-server-start.sh config/zookeeper.properties4.配置server.properties bin/kafka-server-start.sh config/ser
spring+zookeeper+kafka
09-22
spring整合zookeeper+kafka，完整的开发环境，先自行下载zookeeper、kafka安装包
zookeeper+kafka集群搭建及安装包
11-15
zookeeper+kafka集群搭建及安装包
zookeeper+kafka.zip windows安装kafka和zookeeper
03-05
zookeeper+kafka.zip windows安装kafka和zookeeperzookeeper+kafka.zip windows安装kafka和zookeeper
部署zookeeper+kafka
最新发布
04-25
一、二进制安装 1.安装jdk，二进制安装以及yum安装 2.安装zookeeper 3.部署kafka 二、docker安装 1.搭建zookeeper集群 2.搭建kafka集群 3.测试Zookeeper中Kafka节点信息 4.测试Kafka中创建Topic，Zookeeper中的接受...
kafka以及依赖安装包jdk+zookeeper+kafka
12-22
kafka以及依赖安装包jdk+zookeeper+kafka
zookeeper、kafka集群部署
10-08
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
Kafka自带zookeeper---集群安装部署
qq_37647812的博客
09-18 1004
（不挂起），用于在系统后台不挂断地运行命令，退出终端不会影响程序的运行。以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个。文件，启动过程过程中没有报错，且有以下信息输出，说明启动成功。：该节点负责该分区的所有的读和写，每个节点的。默认情况下，删除是标记删除，没有实际删除这个。的节点列表，也就是活着的节点并且正在同步。文件保留的最长时间，超时将被删除，默认。都启动成功后，再分别启动三台机器的。：备份的节点列表，无论该节点是否是。，生成和消费信息正确，不受任何影响。
zookeeper+kafka集群安装之一
恒
05-23 5972
zookeeper+kafka集群安装之zookeeper集群
KafkaManager（CMAK）二进制安装
xiaohu的博客
11-15 2091
## 一、安装包准备 测试环境（单机，无安全认证） 操作系统 版本 CentOS Linux release x86_64 7.5.1804 (Core) 测试软件版本 软件 版本 zookeeper 3.7.0 kafka 2.4.0 cmak 3.0.0.5 jdk 11.0.12 版本要求 zookeeper需要在3.5.0以上版本 kafka版本Kafka 0.8.. or 0.9.. or 0.10.. or 0.11… cmak版本3.0.0
安装zookeeper及kafka集群
学习太难啦的博客
10-29 1385
安装zookeeper及kafka集群 不废话直接开始，请提前准备好镜像或者拉取新版本镜像 # 拉取镜像 docker pull zookeeper:3.4.9 docker pull kafka:2.13-2.7.0 # 拉取完毕后查看 docker images REPOSITORY TAG IMAGE ID CREATED SIZE kafka 2.13-2.7.0
Centos7离线二进制安装Kafka（单节点测试）
zhang35的博客
12-10 408
离线二进制安装Kafka： $ tar zxvf kafka_2.11-2.0.0.tgz $ mv kafka_2.11-2.0.0/ kafka/ $ cd kafka 修改配置，允许外部访问服务： $ vim config/server.properties # 添加以下配置，ip地址改为本机地址 listeners=PLAINTEXT://192.168.11.109:9092 # 开启zookeeper $ ./bin/zookeeper-server-start.sh config/zoo
安装Zookeeper和Kafka集群
weixin_39158966的博客
04-17 66
本文介绍如何安装Zookeeper和Kafka集群。为了方便，介绍的是在一台服务器上的安装，实际应该安装在多台服务器上，但步骤是一样的。
zookeeper+kafka集群安装部署（一）
进阶的蜗牛
08-08 1003
zookeeper集群部署 环境：三台服务器： IP1:192.168.37.21 IP2:192.168.37.22 IP3:192.168.37.23 一、安装jdk环境变量（三台机器均执行） # cd /usr/local/src/ # tar xf jdk-8u101-linux-x64.tar.gz # vim /etc/profile ##设置jdk环境变量，在最后添加如下三...
Kafka集群+zookeeper集群安装教程
Scofield_No1的博客
11-26 2533
一、Zookeeper 安装第一步、前期准备： 操作系统 centos 6 安装包 zookeeper-3.4.10.tar.gz Java 环境 jdk1.8.0_151 第二步：Zookeeper 集群搭建1. 简介Kafka 依赖 Zookeeper 管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装 Zookee
hadoop+spark+hive+hbase+oozie+kafka+flume+flink+es+redash等详细安装部署
05-12
9. 安装Kafka：以二进制文件的形式下载Kafka，并按照说明进行安装。配置Kafka，并设置必要的参数，例如Zookeeper连接，日志存储位置和日志大小限制。 10. 安装Flume：以二进制文件的形式下载Flume，并按照说明进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值