kafka手动设置topic

原文地址：https://blog.csdn.net/caidongxuan/article/details/107344765

使用Kafka bin目录下带有kafka-consumer-groups.sh脚本可随意设置消费者组(consumer group)的offset，设置的前提是：consumer group状态是inactive的，即不能是处于正在工作中的状态。

重设位移的流程由下面3步组成：

一、确定位移重设策略——当前支持8种设置规则：

–to-earliest：把位移调整到分区当前最小位移
–to-latest：把位移调整到分区当前最新位移
–to-current：把位移调整到分区当前位移
–to-offset ： 把位移调整到指定位移处
–shift-by N： 把位移调整到当前位移 + N处，注意N可以是负数，表示向前移动
–to-datetime ：把位移调整到大于给定时间的最早位移处，datetime格式是yyyy-MM-ddTHH:mm:ss.xxx
–by-duration ：把位移调整到距离当前时间指定间隔的位移处，duration格式是PnDTnHnMnS
–from-file ：从CSV文件中读取调整策略

二、确定执行方案——当前支持3种方案：

什么参数都不加：只是打印出位移调整方案，不具体执行
–execute：执行真正的位移调整
–export：把位移调整方案按照CSV格式打印，方便用户成csv文件，供后续直接使用

三、确定topic作用域——当前有3种作用域

指定方式：
–all-topics（为consumer group下所有topic的所有分区调整位移），
–topic t1 --topic t2（为指定的若干个topic的所有分区调整位移），
–topic t1:0,1,2（为指定的topic分区调整位移）

下面实例设置如何重设位移：
1.–to-earliest : 有分区的位移都被重设为0

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-earliest --execute

•  

2.–to-latest :所有分区的位移都被重设为最新位移，即1,000,000

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-latest --execute

•  

3.–to-offset : 所有分区的位移都调整为给定的500000

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-offset 500000 --execute

•  

4.–to-current: 所有分区的位移都被移动到当前位移，位移距上一步没有变动

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-current --execute

•  

5.–shift-by N :所有分区的位移被移动到(500000 - 100000) = 400000处

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --shift-by -100000 --execute

•  

6.–to-datetime: 所有分区的位移调整为2019年3月3日3：30之后的最早位移

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-datetime 2019-03-03T3:30:00.000

•  

7.–by-duration:所有分区位移调整为30分钟之前的最早位移

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --by-duration PT0H30M0S