Kafka Shell 基本操作

1. 启动集群每个节点的进程

nohup kafka-server-start.sh \
/home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties \
1>~/logs/kafka_std.log \
2>~/logs/kafka_err.log &

2. 创建 Topic

解释说明：
–create --> 创建 Topic 的选项
–zookeeper --> 指定 ZooKeeper 集群地址
–replication-factor --> Topic 的副本数
–partitions --> 分区个数
–topic --> Topic 名称

kafka-topics.sh \
--create \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--replication-factor 3 \
--partitions 10 \
--topic gldwolf

3. 查看已经创建的所有 Kafka Topic

kafka-topics.sh \
--list \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181

4. 查看某个指定的 Topic 的详细信息

kafka-topics.sh \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--describe \
--topic gldwolf

结果如下：

Topic：Topic 名称
Partition：Topic 的分区编号
Leader：负责处理消息的读和写，Leader 是从所有节点中随机选择的
Replicas：列出了所有的副本节点，不管节点是否在服务中
Isr：正在服务中的节点

5. 开启生产者模拟生成数据:

kafka-console-producer.sh \
--broker-list hdp01:9092,hdp02:9092,hdp03:9092 \
--topic gldwolf

6. 开启消费者模拟消费数据

kafka-console-consumer.sh \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--from-beginning \
--topic gldwolf

7. 查看某个 Topic 的某个 Partition 的偏移量的最大值和最小值

kafka-run-class.sh \
kafka.tools.GetOffsetShell \
--topic gldwolf \
--time -1 \
--broker-list hdp01:9092,hdp02:9092,hdp03:9092 \
-partitions 1

8. 增加 Topic 分区数

# 修改分区数为 20 
kafka-topics.sh \
--alter \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--topic gldwolf \
--partitions 20 

# 修改副本个数为 2
kafka-topics.sh \
--alter \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--topic gldwolf \
--replication-factor 2

9. 删除 Topic

kafka-topics.sh \
--delete \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--topic gldwolf