Kafka创建主题、生产者、消费者的相关命令

Kafka相关命令

• topic命令：可以使用kafka.topics.sh --help来查看命令参数。

参数	描述
–bootstrap-server	指定连接broker主机名称的端口号
–topic	操作的主题名称
–create	创建主题
–delete	删除主题
–alter	修改主题的分区数
–list	查看所有主题
–describe	查看topic的详细描述
–partitions	设置分区数量
–replication-factor	设置分区副本数量

• producer命令：可以使用kafka-console-consumer.sh --help来查看producer参数

参数	描述
–bootstrap-server	指定连接broker主机名称的端口号
–topic	指定发送消息的主题

• consumer命令：可以使用kafka-console-consumer.sh --help来查看参数。

参数	描述
–bootstrap-server	指定连接broker主机名称的端口号
–topic	指定发送消息的主题
–from-beginning	从头开始消费（包括历史数据）
–offset	指定偏移量进行消费
–group	指定消费组的名称
–partition	指定分区进行消费

• __consumer_offsets：这是kafka自行创建的主题，用于存放一个消费组中所有消费者的消费记录，可以知道每一个消费者消费的offset，为键值对的形式。

  key：consumerGroupId+topic+分区

  value：offset

  节点选择：hash(consumerGroupID)%主题的分区数。选择一个分区用于存放__consumer_offsets文件。

Consummer Group：可以使用kafka-consumer-group --help来查看参数。

参数	描述
–bootstrap-server	指定连接broker主机名称的端口号
–list	查看所有的消费组
–group	操作的消费组名称
–describe	查看消费组的详细描述

LEO和HW：consumer只能消费HW之前的数据，因为消费HW之后的数据，可能其他的follower数据尚未同步，会出现问题。

 LEO：一个分区各自副本最大的offset。

 HW：不同副本最小的LEO（同一个分区不同副本的HW相同）