kafka与zookeeper集群环境搭建

最新推荐文章于 2024-08-21 16:18:17 发布
最新推荐文章于 2024-08-21 16:18:17 发布
阅读量435 收藏
点赞数
分类专栏： kafka zookeeper 文章标签： kafka zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/E1988/article/details/118895830
版权
本文详细介绍了如何搭建kafka与zookeeper的集群环境。首先，必须确保zookeeper集群正常运行，至少半数节点存活。接着，分别在三台CentOS 6主机上部署zookeeper和kafka，并关闭防火墙以确保集群间通信。在搭建过程中，提到了具体的版本信息（kafka 0.9.0.1，zookeeper 3.4.6），并给出了主机IP地址。最后，强调了启动和关闭集群的正确顺序，即先启动zookeeper，后启动kafka；先关闭kafka，后关闭zookeeper。
摘要由CSDN通过智能技术生成

kafka与zookeeper集群环境搭建

kafka集群是把状态保存在zookeeper集群上，所以要创建kafka集群需要先创建zookeeper集群

zookeeper 集群的工作是超过半数正常才能对位提供服务，3台中超过两台则为超过半数，允许1台挂掉，集群可使用2*n + 1台搭建。

在搭建集群过程中需要将三台host主机的防火墙关闭，不然会导致集群主机无法访问。

service iptables stop #关闭防火墙
service iptables start #启动防火墙
service iptables restart #重启防火墙
service iptables status #查看防火墙状态

chkconfig iptables off #永久关闭防火墙
ckconfig iptables on #永久关闭后启用防火墙

版本信息

  • kafka kafka_2.11-0.9.0.1
  • zookeeper zookeeper-3.4.6
  • os centos 6

主机IP地址信息

  • host1 192.168.88.233
  • host2 192.168.88.234
  • host3 192.168.88.235

为了方便可以在三台host主机/etc/hosts 文件上添加IP信息

192.168.88.233 host1
192.168.88.234 host2
192.168.88.235 host3

zookeeper集群搭建

  • 将zookeeper安装到/opt/zookeeper下

  • 下载zookeeper安装包到ho

最低0.47元/天 解锁文章
杭州一霸
关注
专栏目录
Kafka+zookeeper集群部署
changyitt的博客
08-09 719
echo -------------------------------- $i kafka 启动 ---------------------------echo -------------------------------- $i kafka 停止 ---------------------------mkdir /opt/zookeeper/zk1/{data,logs} ##在虚机192.168.190.151上。启停kafka：./kafka-cluster.sh stop。
Kafka集群和Zookeeper集群搭建
一起学习吧
04-10 1150
文章目录1.安装zookeeper集群2.kafka集群安装 1.安装zookeeper集群 10.0.0.161 10.0.0.162 10.0.0.163 https://www.jianshu.com/p/1a99eebdf075 1.安装java yum install -y java maven 2.配置zookeeper [root@es-node1 conf]# cat zoo.cfg #服务器之间或客户端与服务器之间维持心跳的时间间隔 #tickTime以毫秒为单位。 tickTime
kafka和zookeeper集群搭建
路漫漫兮
07-16 378
前提 我这里用的是三台服务器搭建集群，不是一台，这个要搞清楚 zookeeper集群搭建 1. 下载安装包 可以直接到官网下载，也可以通过下面命令下载，将命令中的版本号改成自己的想要下载的版本号就可以，如果不能，那就乖乖去官网下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 接下来就是解压了 tar -zxvd apache-zoo
Zookeeper on Kafka集群搭建
weixin_44480386的博客
08-05 160
环境准备 jdk-8u162-linux-x64.tar zookeeper-3.4.12.tar kafka_2.11-2.0.0 .tgz 主机名 IP地址 zookeeper myid kafka-0 172.18.12.135 server.1 1 kafka-1 172.18.12.143 server.2 2 kafka-2 172.18.12.144 server.3 3 Kafka&zookeeper下载地址   提取码：6lgw
zookeeper + Kafka搭建
最新发布
。
08-21 794
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
zookeeper+kafka集群搭建
develop
10-18 6624
基本环境：操作系统 ： ubuntu-16.04.2 jdk : jdk1.8.0_144 zookeeper ： zookeeper3.4.6 kafka ： kafka_2.12-0.11.0.0 搭建过程中，用三台虚拟机来实现环境的配置，3台虚拟机的ip如下： 192.168.131.130 192.168.131.131 192.168.131.132 zookeeper环境搭建1、
Zookeeper+Kafka集群
2301_76288258的博客
01-22 1552
此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。如果是非leader节点故障，直接替换新的节点继续做follower，与现存的leader连接并同步数据，如果是leader节点故障，则需要重新选举新的leader，先比较每个存活节点的epoch（参与选举的次数），如果有最大的则直接当选leader，如果epoch有相同的节点，再比较zxid（写操作的事务id）如果有最大的，则直接当选leader，如果有以上都相同的节点，继续比较sid（等同于myid），由myid最大的节点当选leader。
（二）搭建zookeeper集群 --- kafka集群搭建
qq_41497111的博客
04-26 954
有问题的地方望指出。 （零）linux 从零开始搭建虚拟机集群，安装jdk，ssh免密登录 -- 小白教程 （一）环境介绍及所需安装包下载 --- kafka集群搭建 （二）搭建zookeeper集群 --- kafka集群搭建 （三）搭建kafka 集群 --- kafka集群搭建 （四）Kafk...
Kafka和Zookeeper集群搭建
05-03
在这个主题中，我们将深入探讨如何搭建Kafka和Zookeeper集群，以及这两个组件在实际应用中的作用。 首先，让我们了解一下Zookeeper。Zookeeper是Apache Hadoop项目的一个子项目，它为分布式应用程序提供一致性服务...
Zookeeper和Kafka环境搭建总结
weixin_33842328的博客
03-19 471
前言 由于项目需要涉及到zookeeper和Kafka的使用，快速做了一篇笔记，方便小伙伴们搭建环境。 zookeeper 官方定义 What is ZooKeeper? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed sync...
Kafka、Zookeeper集群配置
09-19
Kafka、Zookeeper集群配置Demo
kafka环境搭建2-broker集群+zookeeper集群
X-man
12-06 779
zookeeper集群搭建 kafka是通过zookeeper来管理集群。 kafka软件包内虽然包括了一个简版的zookeeper，但是感觉功能有限。在生产环境下，建议还是直接下载官方zookeeper软件。 下载 最新版的zookeeper软件 wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zooke
zookeeper集群及kafka集群搭建
nidongla的博客
06-28 167
1.zookeeper集群搭建领券 https://m.cps3.cn/ 1.1 上传安装包 官网推荐至少3个节点,我们这里也用三个节点192.169.2.18 192.169.1.82 192.169.1.95 准备好安装包,zookeeper的默认端口为2181 将安装包分别上传到3个节点的指定目录中 这里以/home/admin作为说明 运行命令 tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz 然后进入到 解压后的目录 目录结构如图 1.2...
Kafka zookeeper 集群
qingwei201314的专栏
06-08 126
一、部署zookeeper集群 1. 准备三台服务器，IP分别为: 192.168.86.130,192.168.86.131,192.168.86.132. 2.下载zookeeper压缩包，解压，在conf目录下增加zoo.cfg文件，文件内容可参考zoo_sample.cfg. 具体内容如下： tickTime=2000 dataDir=/usr/local/zookeeper-3.6.2/data clientPort=2181 initLimit=5 syncLimit=2 serv
zookeeper + kafka集群搭建详解
shanjun12的博客
04-11 953
zookeeper + kafka集群搭建详解
基于Zookeeper搭建Kafka高可用集群
qq_24095055的博客
07-30 290
文章目录一、Zookeeper集群搭建1.1 下载 & 解压1.2 修改配置 一、Zookeeper集群搭建 为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。 1.1 下载 & 解压 下载对应版本 Zookeeper，这里我下载的版本 3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/ # 下载 wget https://archive.apache.org/dist/
kafka+zookeeper群集
m0_71518373的博客
10-01 1636
centos7上简易部署kafka+zookeeper群集以及kafka的基础命令行操作
Kafka：集群安装（3台kafka,1台独立的zookeeper)
amadeus_liu2的博客
04-01 2099
一、准备zookeeper 1.下载Zookeeper 3.6.2 2.解压缩 3.进到zookeeper目录 4.执行 bin/zkServer.sh start 二、安装Kafka2.6集群 1.下载Kafka 2.6.2 2.解压缩. 3.进入config目录，编辑server.properties 主要需要改3个参数： broker.id=0 (第二、三台分别为1，2） log.dirs=/root/kafka-logs zookeeper.connect=139.198.xx.xx 4.返回上
Kafka与Zookeeper集群部署指南
1. **Zookeeper集群搭建** - **集群规模**：Zookeeper推荐的最小集群规模是3个节点，以确保容错性。 - **系统时间同步**：所有服务器之间的时间需要保持一致，这对于Zookeeper的选举机制至关重要。 - **安装步骤*...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值