kafka命令行笔记

kafka命令

查看topic列表
./kafka-topics.sh --zookeeper localhost:2181 --list

创建topic
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test

删除topic
1，必须设置auto.create.topics.enable = false，并认真把生产和消费程序彻底全部停止
2，server.properties 设置 delete.topic.enable=true 否则调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion）
3，./bin/kafka-topics --delete --zookeeper 【zookeeper server:port】 --topic 【topic name】
4，删除kafka存储目录（server.properties文件log.dirs配置，默认为"/data/kafka-logs"）相关topic的数据目录。
5，找一台部署了zk的服务器，使用命令：
bin/zkCli.sh -server 【zookeeper server:port】
登录到zk shell，然后找到topic所在的目录：ls /brokers/topics，找到要删除的topic，然后执行命令：
rmr /brokers/topics/【topic name】
即可，此时topic被彻底删除。

生产数据
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic_test

消费数据
老版本 用–zookeeper
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka-action --consumer-property group.id=old-consumer-test --consumer-property consumer.id=old-consumer-cl --from-beginning --delete-consumer-offsets

新版本 用–bootstrap-server
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic kafka-action --new-consumer --consumer-property group.id=new-consumer-test --consumer-property client.id=new-consumer-cl --from-beginning --delete-consumer-offsets

consumer-property 参数以键值对的形式指定消费者级别的配置。
from-beginning 设置消息起始位置开始消费。默认是从新位置 latest开始消费
delete-consumer-offsets 删除在zookeeper中记录已消费的偏移量

旧版：消费者默认将消费偏移量保存到zookeeper中。
新版：本消费者去掉了对zookeeper的依赖，当启动一个消费者时不再向zookeeper注册，
而是由消费组协调器统一管理，已消费的消息偏移量提交后会保存到名为“__consumer_offsets”内部主题中。
可以通过offsets.storage=kafka设置
offsets.storage=kaka，则保存到kafka主题中，
offsets.storage=zookeeper, 则保存到zookeeper中