(2181是zookeeper的端口)
(9092是kafka的端口)
zookeeper管理命令
启动zookeeper
bin/zkServer.sh start (默认以zoo.cfg文件启动)
bin/zkServer.sh start conf/zoo.cfg
查看状态
bin/zkServer.sh status
重新启动
bin/zkServer.sh restart
停止zookeeper
bin/zkServer.sh stop
kafka命令行操作
启动
bin/kafka-server-start.sh config/server.properties
//可以使用-daemon参数,表示以守护线程的方式启动,日志不打印到控制台
bin/kafka-server-start.sh -daemon config/server.properties
关闭
bin/kafka-server-stop.sh
zookeeper连接串:10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka
kafka连接串:10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092
topic名称:yx
在kafka的目录下
创建topic:
./bin/kafka-topics.sh --create --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka --topic yx --replication-factor 3 --partitions 3
删除topic:(删除topic较复杂,不仅这一命令)
./bin/kafka-topics.sh --delete --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka --topic yx
模糊查询含有yx字符串的topic:
./bin/kafka-topics.sh --list --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka |grep yx
查看topic列表:
./bin/kafka-topics.sh --list --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka
查看topic属性(如分区等):
./bin/kafka-topics.sh --describe --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka --topic yx
生产者:
./bin/kafka-console-producer.sh --broker-list 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --topic yx
从当前开始消费:
./bin/kafka-console-consumer.sh --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --topic yx
消费所有数据:
./bin/kafka-console-consumer.sh --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --topic yx --from-beginning
增加topic分区数目
./bin/kafka-topics.sh --alter --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181 --topic yx --partitions 5
查看topic某分区偏移量最大(小)值offset
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic yx --time -1 --broker-list 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --partitions 0
查看所有消费者组
./bin/kafka-consumer-groups.sh --list --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092
查看消费者组消费情况
./bin/kafka-consumer-groups.sh --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --group xxx --describe
备注:kafka用到zookeeper,因此如果您的机器上没有zookeeper服务,则需要先启动zookpeer服务,使用kafka自带的zookeeper。
cd /opt/kafka_2.11-1.1.0/
bin/zookeeper-server-start.sh config/zookeeper.properties