（1）Linux搭建 zookeeper+kafka集群

已于 2022-12-19 14:30:54 修改
阅读量989 收藏 7
点赞数 1
分类专栏： kafka 文章标签： linux zookeeper kafka
于 2022-12-19 14:19:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42862247/article/details/128369486
版权

因为之前公司业务都是使用mqtt接收数据，随着设备的增加，公司觉得用kafka集群来实现会更好 下面是我写一个demo 仅供参考

一、安装jdk

在这里插入图片描述
没有安装的可以百度去看看怎么安装的 不行的话在私聊我！！！！

二、搭建zookeeper集群

因为我只有一台Linux服务器，所以在一台机器上创建三个zk实例，通过设置不同的端口号，搭建一个zookeeper伪集群。

1、下载zookeeper安装包

地址：https://archive.apache.org/dist/zookeeper/，我这里下的是apache-zookeeper-3.6.3-bin.tar.gz版本。
在这里插入图片描述

2、新建一个zookeeper-cluster目录，将安装包上传到zookeeper-cluster目录下

  cd /usr/local/
  mkdir zookeeper-cluster

在这里插入图片描述

3、解压安装包

cd zookeeper-cluster/
tar -zxvf  apache-zookeeper-3.6.3-bin.tar.gz

你下载的是什么包名字就解压什么名字

4、配置zk1（先配一个节点，然后再复制两份修改相关配置）

改一下解压包名称（便于直观区分）

mv apache-zookeeper-3.6.3 zk1

新建data、logs目录，分别用来存放数据和日志

cd zk1/
mkdir data logs

执行完之后就会看到有 data 和logs 文件夹
在这里插入图片描述

进入conf，将zoo_sample.cfg 重命名为 zoo.cfg

cd conf/
cp zoo_sample.cfg /usr/local/zookeeper-cluster/zk1 #可以不执行
mv zoo_sample.cfg zoo.cfg

执行完之后就会看到有 zoo.cfg 可以先复制一份 zoo_sample.cfg zk1文件夹 修改完名称后面在复制进来文件夹里面 怕到时候配置错了 找不到原来的文件
在这里插入图片描述

修改conf下的zoo.cfg配置文件

vi zoo.cfg

① 修改：dataDir=/usr/local/zookeeper-cluster/zk1/data

② 添加：dataLogDir=/usr/local/zookeeper-cluster/zk1/logs

③ clientPort=2181【clientPort是客户端的请求端口】

④ 在zoo.cfg文件末尾追加【注意IP是内网IP，伪集群的话写127.0.0.1也可以】

server.1=172.17.80.219:2881:3881

server.2=172.17.80.219:2882:3882

server.3=172.17.80.219:2883:3883

解释：server.实例ID=实例IP:zk服务之间通信端口:zk服务之间投票选举端口；


在 zk1 的 data 目录下创建一个 myid 文件，内容为1

cd zk1/data/
echo 1 > myid

这一步一定要执行！！！

至此，zk1节点配置完成，我们复制两份zk2、zk3，再修改zk2、zk3的相关配置就可以了。

5、配置zk2

用zk1复制一份zk2

cd /usr/local/zookeeper-cluster/
cp -r zk1 zk2

修改zk2的zoo.conf文件

dataDir=/usr/local/zookeeper-cluster/zk2/data
dataLogDir=/usr/local/zookeeper-cluster/zk2/logs
clientPort=2182

在这里插入图片描述
修改zk2的data目录下的myid文件

cd /usr/local/zookeeper-cluster/zk2/data/
vi myid

将内容修改为2。

6、配置zk3

用zk1复制一份zk3

cd /usr/local/zookeeper-cluster/
cp -r zk1 zk3

修改zk3的zoo.conf文件

dataDir=/usr/local/zookeeper-cluster/zk3/data
dataLogDir=/usr/local/zookeeper-cluster/zk3/logs
clientPort=2183

修改zk3的data目录下的myid文件

 cd /usr/local/zookeeper-cluster/zk3/data/
 vi myid

将内容修改为3。

7、开放防火墙端口

开放上面配置涉及到的端口：

2181/2182/2183、2881/2882/2883、3881/3882/3883

举例 开放端口

firewall-cmd --zone=public --add-port=2181/tcp --permanent

重启防火墙

firewall-cmd --reload

查看当前所有tcp端口

netstat -ntlp

8、启动集群

 cd  /usr/local/zookeeper-cluster/zk1/bin/
./zkServer.sh start
 
 cd  /usr/local/zookeeper-cluster/zk2/bin/
 ./zkServer.sh start
 
 cd  /usr/local/zookeeper-cluster/zk3/bin/
 ./zkServer.sh start

在这里插入图片描述

9、查看启动状态

 cd  /usr/local/zookeeper-cluster/zk1/bin/
 ./zkServer.sh status
 
 cd  /usr/local/zookeeper-cluster/zk2/bin/
 ./zkServer.sh status
 
 cd  /usr/local/zookeeper-cluster/zk3/bin/
 ./zkServer.sh status

在这里插入图片描述
可以看到，zk2作为leader，zk1和zk3作为follower，zookeeper集群搭建成功。

三、搭建kafka集群

1、下载安装包

kafka官网下载：http://kafka.apache.org/downloads
我下载的是 kafka_2.12-3.1.0.gz

2、新建一个kafka-cluster目录，将安装包上传到kafka-cluster目录下

cd /usr/local/
mkdir kafka-cluster

在这里插入图片描述

3、解压安装包，重命名

tar -zxvf kafka_2.12-3.1.0.gz
mv kafka_2.12-2.4.0 kafka1

4、修改配置文件

cd /usr/local/kafka-cluster/kafka1/config/
vi server.properties

※修改如下配置项

# 集群内不同实例的broker.id必须为不重复的数字
broker.id=0
# listeners配置kafka的host和port【同样使用内网IP】
listeners=PLAINTEXT://192.168.10.222:9092
# kafka数据和log的存放目录
log.dirs=/usr/local/kafka-cluster/kafka1/logs
# zookeeper集群的ip和端口，用英文逗号分隔
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
# 在配置文件中添加如下配置，表示允许删除topic
delete.topic.enable=true

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5、配置kafka2（将kafka1拷一份，修改相关配置）

cp -r kafka1 kafka2
cd kafka2/config/
vi server.properties

配置跟1一样 我就不截图了 你自己对比1的截图修改

broker.id=1
listeners=PLAINTEXT://127.0.0.1:9093
log.dirs=/usr/local/kafka-cluster/kafka2/logs
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
delete.topic.enable=true

6、配置kafka3（将kafka1拷一份，修改相关配置）

 cp -r kafka1 kafka3
 cd kafka3/config/
 vi server.properties

broker.id=2
listeners=PLAINTEXT://127.0.0.1:9094
log.dirs=/usr/local/kafka-cluster/kafka3/logs
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
delete.topic.enable=true

7、启动kafka集群（分别启动各实例）

 cd /usr/local/kafka-cluster/kafka1/bin/                     
 ./kafka-server-start.sh ../config/server.properties 
 
 cd /usr/local/kafka-cluster/kafka2/bin/                     
 ./kafka-server-start.sh ../config/server.properties 
 
 cd /usr/local/kafka-cluster/kafka3/bin/                     
 ./kafka-server-start.sh ../config/server.properties

在这里插入图片描述
开三个窗口 ，每个窗口执行一个kafka实例
可以发现在窗口启动之后是一个阻塞进程，会阻塞当前窗口，我们可以重新打开一个窗口进行接下来的操作，或者在启动kafka的时候使用 -daemon 参数将它声明为守护进程后台运行。

 ./kafka-server-start.sh  -daemon ../config/server.properties

※ 启动的时候可能会报错"Cannot allocate memory"

./kafka-server-start.sh  ../config/server.properties 
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/kafka-cluster/kafka2/bin/hs_err_pid28697.log

这是因为单机上搭建伪集群内存不够导致的，我们可以修改启动脚本，将heap内存改小些，默认为1G，可以改为512M，如果还是不够再修改为256M。

 vi bin/kafka-server-start.sh

在这里插入图片描述
我没有报错过 所以你们报错了可以试试修改一下启动的shell脚本 按以上操作

8、开放防火墙端口

9092/9093/9094

怎么开放端口 上面有命令可以翻上去看看

9、通过命令简单体验一下kafka

创建一个topic，我们实现生产者向topic写数据，消费者从topic拿数据。

首先进入到bin目录下，
在打开一个新窗口

# cd /usr/local/kafka-cluster/kafka1/bin

① 创建一个topic

 ./kafka-topics.sh --bootstrap-server 192.168.10.222:9092  --topic mytopic --create  --partitions 1 --replication-factor 2

 参数解释

192.168.10.222:9092 ZK的服务IP:端口号

 --partitions 1 分区数为1

 --topic mytopic  topic的名字是mytopic 

 --replication-factor 副本，注意，副本的个数应小于服务器总数，例如三台服务器做的kafka集群，那么副本数量最多只能为2，也就是 3 - 1

在这里插入图片描述

这样就成功了

查询topics列表

./kafka-topics.sh --bootstrap-server 192.168.10.222:9092 --list
./kafka-topics.sh --bootstrap-serve 192.168.10.222:9092,192.168.10.222:9092 --list

在这里插入图片描述
查看topic详情

./kafka-topics.sh --bootstrap-server 192.168.10.222:9092 --topic mytopic --describe

修改topic，将topic的分区数修改为3，注意“分区数只能增加不能减少。”

./kafka-topics.sh --bootstrap-server 192.168.10.222:9092 --topic mytopic --alter --partitions 3

删除topic

./kafka-topics.sh --bootstrap-server 192.168.10.222:9092 --topic mytopic --delete

在这里插入图片描述
生产消息

./kafka-console-producer.sh --topic quickstart-events --bootstrap-server 192.168.10.222:9092

第一次发送
在这里插入图片描述
第二次发送
在这里插入图片描述
消费消息

./kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server 192.168.10.222:9092

第一次接收
在这里插入图片描述
第二次接收
在这里插入图片描述

在创建topic时指定的副本数不能大于可用的集群结点数。创建完成后，我们看一下logs目录，

# cd /usr/local/kafka-cluster/kafka2/logs/

可以看到，logs下有两个目录：mytopic-0、mytopic-1、mytopic-2，这就是我们创建的topic的三个分区（我们定义的分区副本是3，这是分区0和1,2的其中一个副本）

在这里插入图片描述

想要一百块
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Linux搭建zookeeper与kafka集群配置
小东的博客
10-27 1518
Kafka依赖zk，以集群方式工作，每台机器称为一个blocker（与其他分布式环境不同的是，仅有1台blocker也能工作），并分别指定blockerId，kafka中同一类型数据以topic形式存在，可对topic进行分区，及指定副本数，例如可将 topic1 分区为3个partition:p0,p1,p2 ;每个分区副本数为3，则每个分区块会均匀的分布在blocker中，对于每个partition，有多个副本，会选出一个leader partition对外接收请求（只有leader partition
hadoop+zookeeper+kafka集群搭建
Qinsurpass的博客
06-03 785
hadoop+zookeeper+kafka集群搭建创建四台虚拟机分别在四台虚拟机中编辑ip地址重启网络并ping通www.baidu.com、关闭防火墙四台虚拟机分别修改hostname编辑/etc/hosts创建文件夹，并导入安装包密钥pass1(234),pass2(134),pass3(124)集群环境编辑脚本，在root目录下创建bin文件夹jdk安装hadoop配置 创建四台虚拟机 192.168.199.161 pass1 192.168.199.162 pass2 192.168.199.1
Linux搭建zookeeper集群+KafKa集群_高可用
qq_37430469的博客
01-22 118
1,配置手动配置jdk,参考,后面细改 https://blog.csdn.net/github_38336924/article/details/82221258 2,kafka+zookeeper高可用集群搭建shell脚本使用教程 这里面的不能全部用,有很多需要修改的配置的,做参考 https://blog.csdn.net/A1229451567/article/details/87641476?app_version=4.10.0%3Futm_source%3Dapp&utm_sourc
Linux环境下搭建Zookeeper + Kafka 集群
weixin_43807429的博客
07-06 652
需要三台Linux服务器，分别为linux1，linux2，linux3 保证三台机器网络互通且都可以访问外网。没机器的也可以在虚拟机里面搭建，可以参考我之前写的文章去搭建，本文中不再赘述。下载zookeeper: https://pan.baidu.com/s/1FBZhIQAYkBo4urvkCig3cg 提取码：5r5d下载kafka: https://pan.baidu.com/s/1YntAAZ23qO55O2Gl0qK8Pg 提取码：p8ke 进入zookeeper的config目录，修改
从新建linux虚拟机到搭建zookeeper+kafka详细版
qq_41292133的博客
12-03 1308
安装虚拟机；创建虚拟机； 配置网络；搭建集群准备工作；安装jdk；搭建zookeeper集群(Error contacting service. It is probably not running)；搭建kafka集群；使用kafka（未完待续）；kafka的一些常用命令
zookeeper集群 + kafka集群
lxplxplike的博客
07-14 970
主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。当前比较常见的 MQ 中间件有 ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar 等。中间件 实现应用解耦、异步处理。
Docker容器化部署zookeeper+kafka集群
weixin_55549435的博客
05-31 1167
下面将介绍使用三台云服务器，用docker部署zookeeper+kafka+kafka-connect-ui集群。（如果大家掌握基础Linux命令、docker常用命令以及DockerCompose基础知识的话应该可以顺利完成部署）
ELK+zookeeper+kafka+filebeat集群
qq_57653432的博客
05-15 979
zookeeper： 为读多写少的场景所设计 并不是存储大规模业务数据 而是用于存储少量的状态和 配置信息，每个节点存储数据不能超过1MB 数据存储基于节点 znode（包含数据子节点 子节点引用 访问权限） Zookeeper service 一主多从结构： 更新数据时 首先更新到主节点 （主节点是服务器） leader：事务请求的调度处理者 负责投票的发起和决议 处理写请求 保证集群事务处理的顺序性 follower：转发事务请求给leader 参与投票 参与leader选举投票 ...
Linux下搭建zookeeper+kafka+kerberos（基于centos7）
x1172031988的专栏
09-26 5519
3台机器： 192.168.10.102 安装kafka服务 192.168.10.103 安装zookeeper服务 192.168.10.105 安装kerberos服务 zookeeper是用来提供服务发现之用，搭建kafka集群，注册到zookeeper，为防止消费的异常，搭建kerberos做认证管理，只有通过认证的kafka消费者才可以消费生产者的消息。kerberos在生产者和...
zookeeper+kafka集群搭建及安装包
11-15
通过以上步骤，你便成功地在Linux环境中搭建了Zookeeper和Kafka的集群。这只是一个基础的配置，实际应用中可能还需要考虑更多因素，比如安全性、性能优化、监控等。了解和掌握这些技术，对于构建高效、可靠的分布式...
spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)
12-06
亲手在Centos7上安装，所用软件列表 apache-flume-1.8.0-bin.tar.gz apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar.gz ...zookeeper-3.4.11.tar.gz
在linux中搭建kafka集群
08-18
以下是如何在Linux上搭建Kafka集群的详细步骤，主要围绕Zookeeper集群的配置和启动。 首先，你需要至少三台Linux服务器，因为Zookeeper集群通常由奇数台服务器组成，以确保在任何情况下都能保持多数节点的存活，...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
zookeeper linux集群搭建流程
08-16
zookeeper Linux 集群搭建流程 ZooKeeper 是一个广泛使用的分布式协调服务，主要用于管理和协调分布式系统中的各个节点。Linux 集群搭建是 ZooKeeper 的一种常见应用场景，本文将详细介绍 ZooKeeper Linux 集群搭建...
Linux无名管道
weixin_74368090的博客
08-02 501
Linux 进程之无名管道
【Linux】线程互斥
2201_76024104的博客
08-02 608
同一进程内的各个线程都能访问的资源叫共享资源：把共享资源保护起来后就叫做临界资源（保护就是说一个只允许一个线程访问该资源）：访问临界资源的代码就叫做临界区，除了这临界区，就是非临界区：任何时刻，只有一个线程进入临界区访问临界资源这个就叫线程间互斥：一个操作要么没干，要么干完，此时就称该操作是原子的。
linux查询占用端口 杀死占用端口进程
ll回家了
08-02 212
在确定了占用端口的进程之后，您可以使用 `kill` 或 `pkill` 命令来终止这些进程。`lsof`（列出打开的文件）命令是另一个强大的工具，用于检查哪些进程在使用特定端口。您可以使用 `netstat` 和 `lsof` 命令来检查哪些进程在使用特定端口。- **`-n`**：以数字形式显示地址，避免DNS查找。- **`-p`**：显示进程的PID和程序名称。- `kill -9 `：强制终止进程。- **`-t`**：显示TCP端口。- **`-l`**：列出监听端口。
linux 常用的命令
最新发布
caoyanzhi的博客
08-02 1288
一、文件和目录操作 ls：列出目录内容。 cd：切换当前工作目录。 pwd：显示当前工作目录的绝对路径。 mkdir：创建新目录。 rmdir：删除空目录。 rm：删除文件或目录（使用-r选项递归删除目录）。 cp：复制文件或目录。 mv：移动或重命名文件或目录。 touch：创建空文件或修改文件时间戳。 find：在目录树中搜索文件，并执行指定的操作。 二、文本查看和处理 cat：查看文件内容，并可以将多个文件内容合并后输出。 more：分页显示文件内容。 less：与more类
linux搭建kafka集群
06-28
### 回答1： 要搭建Kafka集群，需要以下步骤： 1. 安装Java环境：Kafka是基于Java开发的，因此需要先安装Java环境。 2. 下载Kafka：从官网下载Kafka的二进制包。 3. 解压Kafka：将下载的Kafka二进制包解压到指定的目录下。 4. 配置Kafka：修改Kafka的配置文件，包括broker.id、zookeeper.connect、listeners等参数。 5. 启动Zookeeper：Kafka依赖于Zookeeper，因此需要先启动Zookeeper。 6. 启动Kafka：启动Kafka集群，可以使用命令行或者脚本启动。 7. 测试Kafka：使用Kafka提供的命令行工具进行测试，包括创建主题、发送消息、消费消息等操作。 8. 部署Kafka集群：将Kafka集群部署到多台服务器上，可以使用Kafka提供的复制机制实现数据的备份和容错。 以上就是搭建Kafka集群的基本步骤。需要注意的是，Kafka的配置和部署需要根据实际情况进行调整和优化，以保证Kafka集群的性能和稳定性。 ### 回答2： Kafka是一款高性能的分布式消息系统，常常用于大规模数据流的处理和分发。Linux作为一个可靠的服务端操作系统，也是Kafka的一个常见的运行环境。本文将介绍在Linux环境下搭建Kafka集群的步骤和注意事项。 1. 安装Java Kafka是基于Java开发的，因此需要先安装Java运行环境。使用以下命令安装Java 8： ``` $ sudo apt-get update $ sudo apt-get install openjdk-8-jdk ``` 2. 下载和解压缩Kafka 下载Kafka最新版本，并解压缩到合适的目录下。比如： ``` $ wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz $ tar -zxf kafka_2.13-2.6.0.tgz $ cd kafka_2.13-2.6.0 ``` 3. 修改配置文件 Kafka的配置文件位于“config”目录下，常见的有“server.properties”和“zookeeper.properties”。我们需要修改这些配置文件以适配我们的环境。下面是一些要注意的设置： - “server.properties”中的“broker.id”必须是唯一的，每个Kafka节点应该有一个唯一的值。 - “server.properties”中需要设置“listeners”为“PLAINTEXT://:9092”或“PLAINTEXT://[[hostname]]:9092”，这样才能通过网络接口访问到Kafka。 - “zookeeper.properties”中需要设置“dataDir”为Zookeeper数据存储的目录。 4. 启动Zookeeper Kafka依赖Zookeeper来管理集群配置，因此需要先启动Zookeeper。使用以下命令启动Zookeeper： ``` $ bin/zookeeper-server-start.sh config/zookeeper.properties ``` 5. 启动Kafka节点 我们可以使用以下命令启动一个Kafka节点，注意使用不同的配置文件： ``` $ bin/kafka-server-start.sh config/server.properties ``` 如果我们需要启动多个节点，可以使用不同的配置文件，并在启动时设置不同的“broker.id”。启动一组Kafka节点后，它们将自动组成一个集群。 6. 测试 使用以下命令创建一个主题和消费者： ``` $ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test $ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 然后在生产者端发送一些消息： ``` $ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test >test message 1 >test message 2 ``` 我们应该可以在消费者端看到这些消息。 7. 总结 在Linux环境下搭建Kafka集群需要一定的基础知识和技能，但只要按照上述步骤操作，应该能够很容易地搭建一个稳定的、高性能的Kafka环境。当然，在运维过程中也需要注意Kafka的一些常见问题，如副本同步延迟、消息丢失等。不过这些问题已经超出了本文的范围。 ### 回答3： Kafka是一个高性能、可扩展、分布式的消息队列，由于它的高可靠性和高吞吐量，越来越多的企业选择使用Kafka作为消息中间件。为满足大规模数据处理和高并发请求的需求，必须通过搭建Kafka集群来保证其性能和可靠性。 一、环境准备 1.安装Java环境：Kafka运行需要Java环境，安装JDK。 2.下载和安装Kafka：Kafka官方网站下载.tar.gz格式的压缩包，解压缩至指定路径即可。 3.配置Kafka：修改config文件夹下server.properties配置文件，设置Kafka的基本参数。 4.准备Zookeeper环境：Kafka集群依赖于Zookeeper环境，需要先安装Zookeeper。 5.配置Zookeeper：修改Zookeeper的配置文件config/zookeeper.properties，设置Zookeeper的基本参数。 二、搭建Kafka集群 1.编辑Kafka配置文件：修改Kafka的配置文件config/server.properties，设置Kafka节点通信机制，以及数据保存路径等参数。 2.启动Zookeeper：启动Zookeeper，确保Zookeeper正常工作。 3.启动Kafka服务器：执行bin/kafka-server-start.sh config/server.properties命令启动Kafka服务器，启动成功后就可以在本机访问Kafka。 4.配置Kafka集群： 在每个Kafka节点上修改配置文件，设置broker.id、zookeeper.connect、port等参数，然后依次启动所有节点。 5.测试Kafka集群： 在集群中的任何一个节点上创建一个主题，向主题中发送消息并消费消息，以确保Kafka集群的正常工作。 三、集群管理 管理Kafka集群需要使用kafka-manager或kafka-web-console等工具，可以通过Web界面来管理Kafka集群的主题、分区、消费者以及监控Kafka的各项指标，方便用户进行集群管理。 总之，通过上述步骤，可以快速搭建一个高可靠、高吞吐量的Kafka集群，为企业提供无缝的数据传输、消息中间件服务。同时，对于管理者而言，还需要做好监控和维护工作，保证 kafka 集群持续稳定的工作，最终满足各种复杂业务的数据流转和处理需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想要一百块

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值