Kafka 官方文档学习笔记 -- 启动配置kafka单点/多点集群自带zookeeper管理

最新推荐文章于 2024-09-04 17:46:31 发布

whywww

最新推荐文章于 2024-09-04 17:46:31 发布

阅读量2.1k

点赞数 1

分类专栏： BigData 文章标签： kafka 命令行 linux apache

本文链接：https://blog.csdn.net/whywww/article/details/79601483

版权

这篇博客详细介绍了如何启动和配置Kafka单点及多节点集群，包括Zookeeper的管理，创建与删除topic，发送和消费消息，以及启动多个broker。内容涵盖从基础的Quick Start到复杂的集群搭建，适合 Kafka 初学者和进阶者。

摘要由CSDN通过智能技术生成

官方文档上quick start部分对kafka在单节点的不同端口上的运行和合作已经描述的非常详细，但是没有多节点集群的配置操作。本文在整合总结官方文档的启动部分的基础上，新增了构建配置多机器kafka集群，并使用自行安装的zookeeper管理的详细方法。

Quick start部分

start the server

启动zookeeper

kafka自带单点的zookeeper：
> bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka server

（-daemon可以守护进程，就不需要再克隆一个对话来操作了）
> bin/kafka-server-start.sh -daemon config/server.properties

测试进程

输入 jps 命令查看当前进程：
QuorumPeerMain是zookeeper进程，Kafka是kafka进程

创建topic

创建名为test的topic，一个分区和一个副本：
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看已有的topic列表：
> bin/kafka-topics.sh --list --zookeeper localhost:2181

删除topic

> bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

发送消息

通过本机9092端口发送消息，每行为一个message

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

启动consumer

> bin/kafka

最低0.47元/天解锁文章