Kafka 消息队列 --Kafka 的各种 Shell 操作

Kafka 的各种 Shell 操作 

1、启动集群每个节点的进程： 

nohup kafka-server-start.sh \ 
/home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties \ 
1>~/logs/kafka_std.log \ 
2>~/logs/kafka_err.log & 

2、创建 topic 

kafka-topics.sh \ 
--create \ 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \ 
--replication-factor 3 \ 
--partitions 10 \ 
--topic kafka_test 


kafka-topics.sh \ 
--create \ 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \ 
--replication-factor 1 \ 
--partitions 1 \ 
--topic weblog 

参数解释： 
--create  创建 kafka topic 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181  指定 kafka 的 zookeeper 地址 
--partitions  指定分区的个数 
--replication-factor  指定每个分区的副本个数 

3、查看已经创建的所有 kafka topic 

kafka-topics.sh \ 
--list \ 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 

4、查看某个指定的 kafka topic 的详细信息： 

4、开启生产者模拟生成数据： 

kafka-console-producer.sh \

--broker-list hadoop02:9092,hadoop03:9092,hadoop04:9092,hadoop05:9092 \

--topic kafka_test  

5、开启消费者模拟消费数据： 

kafka-console-consumer.sh  \

--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \

--from-beginning \

--topic kafka_test 

6、查看某 topic 某个分区的偏移量最大值和最小值 

7、增加 topic 分区数 

 

8、删除 Topic