Kafka备忘

1. 开多个partition

bin/kafka-topics.sh --alter --zookeeper {zookeeperServer}:2181 --partitions 扩到多少 --topic 主题名

2.扩容后topic迁移（3台扩4台）

vi topics-to-move.json

{"topics":
    [{"topic":"{topicName}"}],
    "version": 1
}

bin/kafka-reassign-partitions.sh --zookeeper {zookeeperServer}:2181 --topics-to-move-json-file topics-to-move.json --broker-list "1,2,3,4" --generate

 

vi topic-reassignment.json

将roposed partition reassignment configuration中的内容复制进去

bin/kafka-reassign-partitions.sh --zookeeper {zookeeperServer}:2181 --reassignment-json-file topic-reassignment.json --execute

3.平衡Leader

bin/kafka-preferred-replica-election.sh --zookeeper {zookeeperServer}:2181

4.kafka自带压测命令

bin/kafka-producer-perf-test.sh --topic {topicName} --num-records 100 --record-size 1 --throughput 100  --producer-props bootstrap.servers={kafkaServer}:9092

5.查看consumer的状态（group、offsent、是否活跃等）

bin/kafka-consumer-groups.sh --bootstrap-server {servers}:9092 --describe --all-groups

6.切换偏移量（consumer从哪开日始消费,consumer为不活跃状态再运行命令）

bin/kafka-consumer-groups.sh --bootstrap-server {servers}:9092 --group group1 --topic topic1 --execute --reset-offsets --to-offset 10000

7.通过时间切换偏移量（消费2019年11月1日后的数据，consumer为不活跃状态再运行命令）

/bin/kafka-consumer-groups.sh --bootstrap-server {servers}:9092 --group group1 --topic topic1 --execute --reset-offsets --to-datetime 2019-11-01T00:00:00.000