kafka 命令行操作大全

这里主要讲命令行操作，如何安装网上太多资料，所以这里就不再赘述了。

一、集群相关常用命令

# 启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties &

# 停止zookeeper
bin/zookeeper-server-stop.sh

# 前台启动broker Ctrl + C 关闭
bin/kafka-server-start.sh <path>/server.properties

# 后台启动broker
bin/kafka-server-start.sh -daemon <path>/server.properties

# 关闭broker
bin/kafka-server-stop.sh

二、topic相关常用命令

2.1 脚本&参数简介

# 集群使用脚本
bin/kafka-topics.sh

参数	概述
–bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号
–topic <String: topic>	操作的topic名称
–create	创建主题
–delete	删除主题
–alter	修改主题
–list	查看所有主题
–describe	查看主题详细描述。
–partitions <Integer: # of partitions>	设置分区数
–replication-factor<Integer: replication factor>	设置分区副本
–config <String: name=value>	更新系统默认的配置

增删改查qaq~

2.2 举例

我这里kafka配置了全局访问。实际找到对应安装目录的bin目录中去执行对应脚本！
1）查询服务器所有topic

kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --list

2）创建demo topic

kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --create --partitions 1 --replication-factor 2 --topic demo

执行后再执行查询命令，demo topic 已经存在。

3）查看demo主题的详情

kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --describe --topic demo

注解：有个简单了解，暂时无需深究！
segment.bytes：表示 Kafka中log日志是分成一块块存储的，此配置是指log日志划分 成块的大小，默认值1G。
Replicas：表示副本存在哪个机器上
Leader：主副本在哪台机器上
Isr: 维护的isr队列机器名，选举新主副本会使用

4）修改分区数（注意：分区数只能增加，不能减少）

kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --alter --topic demo --partitions 3

5）删除topic

kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --delete --topic demo

三、生产者命令行常用操作

3.1 脚本&参数简介

# 使用脚本
kafka-console-producer.sh

参数	概述
–bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号
–topic <String: topic>	操作的topic名称

3.2 举例发送消息

kafka-console-producer --bootstrap-server Kafka-Broker主机名称:端口号 --topic demo

四、生产者命令行常用操作

4.1 脚本&参数简介

# 使用脚本
kafka-console-consumer.sh

参数	概述
–bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号
–topic <String: topic>	操作的topic名称
—from-beginnin	从头开始消费
–group <String: consumer group id>	指定消费者组名称

4.2 举例消费消息

1）消费demo 主题中的数据

kafka-console-consumer --bootstrap-server Kafka-Broker主机名称:端口号 --topic demo

1）消费demo 主题中的数据

kafka-console-consumer --bootstrap-server Kafka-Broker主机名称:端口号 --from-beginning --topic demo