Kafka Topic 12个操作汇总|生产者如何保障不丢数据

查看单个消费者组的进度：

kafka-consumer-groups.sh --bootstrap-server xxx --describe --group xxx

创建topic

kafka-topics.sh --create --zookeeper xxx --replication-factor 2 --partitions 1 --topic xxx

对已创建topic参数调整接收消息大小

kafka-configs.sh --zookeeper xxx  --alter --topic xxx --config max.message.bytes=2147483640

清空topic数据

kafka-topics.sh --zookeeper xxx --alter --topic xxx --config cleanup.policy=delete

向topic中打入数据

kafka-console-producer.sh --zookeeper xxx --topic xxx

消费topic数据

kafka-console-consumer.sh --zookeeper xxx --topic xxx (--from-beginning)

显示所有topic

kafka-topics.sh --zookeeper xxx --list

查看topic描述

kafka-topics.sh --zookeeper xxx --topic xxx --describe

删除topic

kafka-topics.sh --delete --zookeeper xxx --topic xxx

topic设置数据存储时长

kafka-configs.sh --zookeeper xxx --entity-type topics --entity-name xxx --alter --add-config retention.ms=259200000

查看kafka偏移量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list xxx --topic xxx --time -1

彻底删除topic

zkCli.sh ls /brokers/topics rmr /brokers/topics/topic名字

生产者可以通过设置 --request-required-acks 来保障数据不丢失

acks有3个值可选 0、1和-1

0：生产者发送过来的数据，不需要等数据落盘应答

1：生产者发送过来的数据，Leader 收到数据后应答。

-1（all）：生产者发送过来的数据，Leader+和 isr 队列 里面的所有节点收齐数据后应答。

默认值是1(我查看的kafka版本是2.11)

查看kafka版本可以用

ps -ef|grep '/libs/kafka.\{2,40\}.jar'