zookeeper和kafka的基础使用示例

zookeeper

启动zookeeper

先进入到zookeeper的安装目录
nohup bin/zkServer.sh start

删除Zookeeper目录中topic信息

rm -r /brokers/topics/topic_log
rm -r /admin/delete_topics/topic_log

kafka

启动kafka

nohup bin/kafka-server-start.sh config/server.properties &

查看现有的topic

bin/kafka-topics.sh --list --zookeeper ip:2181

删除主题(topic)然后删除Zookeeper目录中topic信息

前提是：server.properties中有配置：delete.topic.enable=true
且该主题目前未被使用
bin/kafka-topics.sh --zookeeper ip:2181 --delete --topic topic_log

查看主题(topic)数据

bin/kafka-console-consumer.sh --zookeeper ip:2181 --topic topic_log --from-beginning

kafka创建主题：以I区创建为例：（最大是10G）

bin/kafka-topics.sh --create --replication-factor 1 --partitions 2 --zookeeper ip:2181 --topic pf_oper --config retention.bytes=10737418240

此处配置了：两个分区、一个副本、分区最大为10G

kafka修改主题

kafka-topics.sh --zookeeper ip:2181 --topic packets --alter --config retention.bytes=10737418240

此处配置了分区最大为10G。

注：分区只能增加

1、查看消费组

命令：kafka-consumer-groups.sh --bootstrap-server broker1:9092 --list
返回：
group_consumer13
group-1

2、查看消费的offset（偏移量）

bin/kafka-consumer-groups.sh --bootstrap-server broker1:9092 --describe --group test-consumer-group

3、生产消息

bin/kafka-console-producer.sh --broker-list ip:9092 --topic sys_base
出现的界面输入的信息按enter就会发送至所填的ip：端口处。