kafka组件基本操作

1.创建主题

需要来/kafka/config里运行

kafka-topics.sh --create --zookeeper hadoop0:2181 --replication-factor 1 --partitions 1 --topic test

   kafka-topics.sh                      来对 kafka 中的主题进行操作和管理，可以对其主题进行 创建、修改、删除以及查看等功能。

--zookeeper hadoop1:2181      zookeeper集群地址

-- replication-factor 1                每个分区副本因子个数即每个分区有多少副本

--partitions 1                          主题partition数量

--topic test                               创建主题的名字为test

2.查看主题

kafka-topics.sh --zookeeper hadoop1:2181 --list

                                       

3.生产者

kafka-console-producer.sh --broker-list hadoop0:9092 --topic test 

kafka-console-producer.sh             加载命令行参数的方式，在控制台生产消息的脚本

--broker-list hadoop0:9092            指定集群中的服务器

--topic test                                    主题名字

4.消费者

kafka-console-consumer.sh --bootstrap-server hadoop2:9092 --topic test --from-beginning

kafka-console-consumer.sh                 一个简易的消费者控制

--bootstrap-server hadoop0:9092        目标集群的服务器地址，这个和broker-list功能是一样的，只不过我们在console producer要求用后者

--from-beginning                                   读取历史未消费的数据

5.删除主题

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test