kafka集群搭建

已于 2022-02-16 13:14:58 修改
阅读量826 收藏 1
点赞数
文章标签： kafka zookeeper 分布式
于 2022-02-16 11:43:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YMY_666/article/details/122960126
版权
本文档详细介绍了如何修改Kafka配置文件以设置节点标识和监听地址，并启动Kafka集群。配置包括broker.id、listeners、advertised.listeners、log.dirs以及zookeeper.connect等关键参数。启动集群后，通过Zookeeper客户端验证集群已成功搭建。
摘要由CSDN通过智能技术生成

修改配置文件

#节点唯一标识
broker.id=1
#内网ip
listeners=PLAINTEXT://192.168.124.130:9091
#外网ip
advertised.listeners=PLAINTEXT://192.168.124.130:9091
#消息存储位置，默认存储7天
log.dirs=/root/kafka/kafka-logs1
zookeeper.connect=192.168.124.130:2181,192.168.124.130:2182,192.168.124.130:2183,192.168.124.130:2184

broker.id是每个节点的唯一标识，比如我的三个节点kafka的broker.id分别是1，2，3

然后启动所有节点

./kafka-server.start.sh -daemon ../config/server1.properties
./kafka-server.start.sh -daemon ../config/server2.properties
./kafka-server.start.sh -daemon ../config/server3.properties

查看zookeeper ./zkCli.sh
ls /brokers/ids有1，2，3说明集群搭建成功
在这里插入图片描述

YMY_666
关注
kafka集群部署
随笔亦行
08-28 1228
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种基于Zookeeper协调的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据、WEB 日志、消息服务等。.........
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
Kafka【第一篇】Kafka集群搭建
weixin_30729609的博客
02-22 849
Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计...
Kafka集群搭建的两种方式
最新发布
dxh9231028的博客
08-17 1660
在2.8.0版本以前，Kafka集群的搭建依赖于Zookeeper环境，需要将kafka集群节点ip及主题等Kafka相关的元数据存入Zookeeper服务中。所以搭建Kafka集群前，需要先搭建Zookeeper集群。zookeeper多主机集群搭建。
Kafka 集群搭建步骤
10-10 115
Kafka 集群搭建步骤 1. 机器准备 本文中，我们将准备三台机器搭建 Kafka 集群，IP 地址分别是 192.168.1.1，192.168.1.2，192.168.1.3，并且三台机器网络互通。 2. 下载并安装 kafka_2.10-0.8.2.1 下载地址: https://kafka.apache.org/downloads.h...
Kafka 集群部署
Yuanshigou9的博客
01-16 2926
Kafka_集群部署：搭建ZooKeeper集群、搭建Kafka集群、测试Zookeeper和Kafka集群
kafka集群搭建文档
05-31
本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的基础条件包括： 1. 至少一台Linux服务器，但为了高可用性，推荐多台...
kafka集群搭建及测试.docx
11-11
【Kafka集群搭建及测试】 Kafka是一种分布式流处理平台，常用于实时数据处理和大数据管道。本文档将详细介绍如何在三台Ubuntu 16虚拟机上搭建Kafka集群，并进行基本的测试，确保其正常运行。 **1. 准备工作** 在...
kafka集群搭建.pdf
01-04
kafka集群搭建方案 kafka集群搭建是大数据处理和实时数据处理的重要组件。下面是kafka集群搭建的详细方案： 一、准备工作 1. 关闭防火墙 关闭防火墙是kafka集群搭建的前提条件。可以使用systemctl disable ...
Kafka集群部署
山水之间
05-15 251
本文档适用于搭建学习环境 一．单独安装Zookeeper #启动Zookeeper bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 加-daemon参数，可以在后台启动Zookeeper，输出的信息在保存在执行目录的logs/zookeeper.out文件中。 二．安装单节点Kafka 1.安装配置 解压Kafka安装包 kafka的配置文件在config/server.properties 修改server.propert
kafka集群的部署
Above the cloud
02-07 1292
1、kafka.apache.org网址中下载所需的kafka包 2、修改配置文件server.properties 3、修改环境变量 4、分发到各节点 5、开启zookeeper集群 6、开启kafka集群
Kafka集群
你知道的越多，你不知道的越多
12-11 1588
Kafka集群 Kafka与Zookeeper 控制器是重度依赖 ZooKeeper 的，Apache ZooKeeper 是一个提供高可靠性的分布式协调服务框架。它使用的数据模型类似于文件系统的树形结构，根目录也是以“/”开始。该结构上的每个节点被称为 znode，用来保存一些元数据协调信息。 如果以 znode 持久性来划分，znode 可分为持久性 znode 和临时 znode。持久性 znode 不会因为 ZooKeeper 集群重启而消失，而临时 znode 则与创建该 znode 的 ZooK
windows kafka集群搭建
08-29
- *2* *3* [Windows下Kafka集群搭建](https://blog.csdn.net/HcJsJqJSSM/article/details/126752143)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值