Kafka shell操作

操作	命令	备注
创建主题	./kafka-topics.sh --create --zookeeper ip1:port1,ip2:port3,ip3:port3 --replication-factor 3 --partitions 3 --topic topicName	replication-factor：副本数量，由于副本位于不同的broker上，因此该值不能超过broker的数量；replication采用均匀分配
增加分区	./kafka-topics.sh --alter --zookeeper ip1:port1,ip2:port3,ip3:port3  --topic topicName -- partitions 5
查看有哪些主题	./kafka-topics.sh --list --zookeeper ip1:port1,ip2:port3,ip3:port3
删除主题	./kafka-topics.sh --delete --zookeeper ip1:port1,ip2:port3,ip3:port3 --topic topicName
一键赋权	./kafka-acls.sh --authorizer-properties zookeeper.connect=ip1:port1,ip2:port3,ip3:port3 --add --allow-principal User:alice --consumer --topic=* --group=*
指定赋权	./kafka-acls.sh --authorizer-properties zookeeper.connect=ip1:port1,ip2:port3,ip3:port3 --add --allow-principal User:alice --operation Write --operation Read --operation describe --topic topicName
查看主题、消费组的授权信息	./kafka-acls.sh --authorizer-properties zookeeper.connect=ip1:port1,ip2:port3,ip3:port3 --list
查看主题分区、副本分布情况	./kafka-topics.sh --describe --zookeeper ip1:port1,ip2:port3,ip3:port3 --topic topicName
生产消息	./kafka-console-producer.sh --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --topic rm_msg_jf --producer.config=/home/siteqi/kfkapp/kafka/else_config/alice_producer.properties	低版本用broker-list，高版本用bootstrap-server
消费消息	./kafka-console-consumer.sh --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --topic rm_msg_crm --group GbigDataTest --consumer.config=/home/siteqi/kfkapp/kafka/else_config/alice_producer.properties
查看group的消费情况	./kafka-consumer-groups.sh --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --describe --group GbigDataTest --command-config=/home/siteqi/kfkapp/kafka/else_config/alice_producer.properties
查看哪些 group 正在消费	./kafka-consumer-groups.sh --list --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --command-config=/home/kafka/else_config/alice_consumer.properties
删除主题下的消息	./kafka-topic.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete
单独设置topic的消息过期时间	./kafka-config.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity_type topics --add-config retention.ms=86400000