这里记录一下kafka常用命令行,我这里安装版本是2.11-2.0.0
创建topic
参数:
partitions:分区数,可以显式指定,如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
虽然增加分区数可以提供kafka集群的吞吐量,但是过多的分区数或者是单台服务器上的分区数过多,会增加不可用及延迟的风险。因为过多的分区数,意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
分区数也限制了consumer的并行度,即限制了并行consumer消息的线程数不能大于分区数
分区数也限制了producer发送消息是指定的分区,如创建topic时分区设置为1,producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错;这种情况可以通过alter --partitions来增加分区数
replication-factor:副本数,控制消息保存在几个broker上,一般情况下等于broker的个数。
如果没有在创建时显式指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中default.replication.factor配置的数量
kafka-topics.sh --zookeeper 192.168.184.40:2181 --create --topic demo --partitions 2 --replication-factor 1
注:ip可换成主机名
查看topic列表
kafka-topics.sh --zookeeper 192.168.184.40:2181 --list
查看topic信息
- 查看所有topic信息
kafka-topics.sh --zookeeper 192.168.184.40:2181 --describe
- 查看某个topic信息
kafka-topics.sh --zookeeper 192.168.184.40:2181 --topic demo --describe
生产数据到指定topic
kafka-console-producer.sh --broker-list 192.168.184.40:9092 --topic demo
消费指定topic上的数据
kafka-console-consumer.sh --bootstrap-server 192.168.184.40:9092 --topic demo
- 把 topic 中以往所有的数据都读取出来
kafka-console-consumer.sh --bootstrap-server 192.168.184.40:9092 --topic demo --from-beginning
增加topic分区数
kafka-topics.sh --zookeeper 192.168.184.40:2181 --alter --topic demo --partitions 5
删除topic
kafka-topics.sh --zookeeper 192.168.184.40:2181 --delete --topic demo