kafka命令行操作

最新推荐文章于 2024-07-26 11:14:21 发布

luoyunfan6

最新推荐文章于 2024-07-26 11:14:21 发布

阅读量778

点赞数

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/luoyunfan6/article/details/103047626

版权

本文介绍了Kafka的主题操作，包括创建、删除、修改和查询主题的注意事项，以及消息的发布和订阅操作。强调了在创建主题时副本数量不应超过集群broker数量，以确保数据安全性。还提及了消息的发布和订阅中的偏移量维护，提到了__consumer_offsets主题的作用，并讨论了偏移量的常见维护方案如Zookeeper、Redis等。

摘要由CSDN通过智能技术生成

主题相关操作

关键参数：
--alter 修改主题
--create 创建主题                
--delete 删除主题
--describe  显示出给定主题的详情.
--list 罗列出kafka分布式集群中所有有效的主题名
--partitions 创建或是修改主题时通过该参数指定分区数。
--replication-factor 创建修改主题时通过该参数指定分区的副本数。
--topic 指定主题名
--zookeeper：用来指定zookeeper分布式集群

创建主题

新建名为hadoop的主题，要求分区数1，副本数1
kafka-topics.sh --create --topic hadoop --partitions 1 --replication-factor 1 --zookeeper mini1:2181
新建名为spark的主题，要求分区数2，副本数3
kafka-topics.sh --create --topic spark --zookeeper mini1:2181 --partitions 2 --replication-factor 3
新建名为flink的主题，要求分区数3，副本数3
 kafka-topics.sh --create --topic flink --zookeeper mini1:2181,mini2:2181,mini3:2181 --partitions 3 --replication-factor 3

注意点：
副本数量不能多于集群broker数量
原因：副本一般是跨节点存储的。从安全性的角度考虑，不允许在一台节点上存在相同的副本（若是可以的话，硬盘要是破坏了，多个相同副本中的数据都会丢失，不安全！！）。</