消费者组偏移量
-
查看消费者组的偏移量情况
sh kafka-consumer-groups.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --describe --group 组名
-
设置消费者组的偏移量为最初
sh kafka-consumer-groups.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --group 组名--topic 主题名--reset-offsets --to-earliest --execute
注意: 最初的意思不是0,因为会有过期的数据,最新的数据的偏移量比0大。
-
设置消费者组的偏移量为指定
sh kafka-consumer-groups.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --group 组名--topic 主题名--reset-offsets --to-offset 3 --execute
注意: 指定偏移量时,注意如果偏移量设置太小,可能为过期的数据,会设置不成功。
-
设置消费者组的偏移量为最近
sh kafka-consumer-groups.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --group 组名--topic 主题名--reset-offsets --to-latest --execute
主题相关命令
-
创建主题
sh kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --replication-factor 2 --partitions 3 --topic 主题名
-
查看所有主题
sh kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --list
-
查看对应主题
sh kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --describe --topic 主题名
创建生产者消费者
-
创建生产者
sh kafka-console-producer.sh --bootstrap-servernode01:9092,node02:9092,node03:9092 --topic 主题名
-
创建消费者
sh kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic 主题名 --from-beginning