【kafka】Kafka集群的基本操作

目录

创建topic（主题）

查看topic（主题）命令

生产者（producer）生产数据

消费者（consumer）消费数据

查看topic的相关信息

增加topic分区数

删除topic

添加配置

删除配置

---

• 创建topic（主题）

创建一个名字为test的主题， 有三个分区，有两个副本

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --partitions 3 --topic test

--create：创建主题

--zookeeper：指定zookeeper节点

--replication-factor：指定几个副本

--partitions：指定几个分区

--topic：指定主题名

 

• 查看topic（主题）命令

查看kafka当中存在的主题

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh  --list --zookeeper node01:2181,node02:2181,node03:2181

--list：查看所有主题

-zookeeper：指定zookeeper节点

 

• 生产者（producer）生产数据

模拟生产者来生产数据

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

--broker-list ：指定的生产者

--topic：指定主题

 

• 消费者（consumer）消费数据

模拟消费者进行消费数据

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node01:2181,node02:2181,node03:2181

--from-beginning：消费者在二次以后的启动中，从头开始消费

--topic：指定主题

--zookeeper：指定zookeeper节点，zookeeper记录了每一个消费者消费的位置

 

• 查看topic的相关信息

查看topic的相关信息

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181 --topic test

--zookeeper：指定zookeeper节点

--topic：指定主题

 

• 增加topic分区数

任意kafka服务器执行以下命令可以增加topic分区数

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --alter --topic test --partitions 5

 --zookeeper：指定zookeeper节点

--alter：修改

--topic：指定主题

--partitions：分区数

 

• 删除topic

目前删除topic在默认情况下打上一个删除的标记，在重新启动kafka后才删除。如果需要立即删除，则需要在server.properties中配置：

delete.topic.enable=true

然后执行以下命令进行删除topic

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --delete --topic test01

--zookeeper：指定zookeeper节点

--delete：删除

--topic：指定主题

 

• 添加配置

动态修改kakfa的配置

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --alter --topic test --config flush.messages=1

 

• 删除配置

动态删除kakfa的配置

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181 --alter --topic test --delete-config flush.messages