Kafka常用命令

最新推荐文章于 2024-08-11 14:03:33 发布
最新推荐文章于 2024-08-11 14:03:33 发布
阅读量5.4k 收藏 13
点赞数 4
分类专栏： 大数据 文章标签： kafka topic comsumer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33689414/article/details/81046502
版权

Kafka常用命令

kafka启动命令
# 指定对应的配置文件启动
kafka-server-start.sh /hadoop/kafka/config/server.properties

# -daemon 以后台的方式启动
kafka-server-start.sh -daemon /hadoop/kafka/config/server.properties

# 指定JMX port端口启动，指定jmx，可以方便监控kafka集群
JMX_PORT=9991 kafka-server-start.sh -daemon /hadoop/kafka/config/server.properties
kafka停止命令
kafka-server-stop.sh

或者

kill -9 pid
kafka的topic相关命令
# 创建topic
kafka-topics.sh --zookeeper server01:2181 --create --topic test --replication-factor 1 --partitions 3 

# 删除topic
kafka-topics.sh --zookeeper server01:2181 --delete --topic test

# 修改topic的分区，注意：分区数量只能增加，不能减少
kafka-topics.sh --zookeeper server01:2181 --alter --topic test --partitions 5

# 查看所有topic
kafka-topics.sh --zookeeper server01:2181 --list

# 查看所有topic的详细信息
kafka-topics.sh --zookeeper server01:2181 --describe

# 查看指定topic的详细信息
kafka-topics.sh --zookeeper server01:2181 --describe --topic test

# describe命令还提供一些参数，用于过滤输出结果，如：
# --topic-with-overrides：可以找出所有包含覆盖配置的主题，它只会列出包含与集群不一样配置的主题
kafka-topics.sh --zookeeper server01:2181 --describe --topics-with-overrides

# describe有两个参数用于找出有问题的分区 
# --unavailable-partitions：列出所有没有首领的分区，这些分区已经处于离线状态，对于生产者和消费者来说是不可用的
# --under-replicated-partitions：列出所有包含不同步副本的分区。
kafka-topics.sh --zookeeper server01:2181 --describe --unavailable-partitions
kafka-topics.sh --zookeeper server01:2181 --describe --under-replicated-partitions
删除topic的操作

1.如果kafka配置delete.topic.enable=true，那么可以直接删除topic，执行删除topic命令

kafka-topics.sh --zookeeper server01:2181 --delete --topic test

2.如果kafka配置delete.topic.enable=false，删除操作如下：

kafka-topics.sh --zookeeper server01:2181 --delete --topic test

出现提示：

Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

这里只是标记删除，并没有删除数据，同时也不能往这个topic写入数据

手动删除topic信息，具体操作如下：

# 1. 打开zkCli
zkCli.sh -server server01:2181

# 2. 删除zookeeper的topic相关信息

# 删除topic test的consumer group，如果有消费记录的话
rmr /consumers/test-group

rmr /config/topics/test
rmr /brokers/topics/test
rmr /admin/delete_topics/test

# 3. 在每台机器上，删除topic的log文件
rm -rf /hadoop/kafka/logs/test-*

# 4.重新启动kafka集群
kafka-server-stop.sh
kafka-server-start.sh -daemon /hadoop/kafka/config/server.properties
生产者shell命令
kafka-console-producer.sh --broker-list server01:9092 --topic test
消费者shell命令
kafka-console-consumer.sh --zookeeper server01:2181 --from-beginning --topic test

# 指定group消费组
kafka-console-consumer.sh --zookeeper server01:2181 --from-beginning --group test_group --topic test
消费者群组命令
# 列出所有消费者群组，相当于zkCli客户端执行 ls /consumer
kafka-consumer-groups.sh --zookeeper server01:2181 --list


# 列出test_group消费组的详细信息
kafka-consumer-groups.sh --zookeeper  server01:2181 --describe --group test_group

# 输出结果
TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     
test            0          8               8               0               -               
test            1          8               8               0               -               
test            2          8               8               0               - 

# CURRENT-OFFSET: 当前消费者群组最近提交的offset，也就是消费者分区里读取的当前位置
# LOG-END-OFFSET: 当前最高水位偏移量，也就是最近一个读取消息的偏移量，同时也是最近一个提交到集群的偏移量
# LAG：消费者的CURRENT-OFFSET与broker的LOG-END-OFFSET之间的差距


# 删除消费者群组
kafka-consumer-groups.sh --zookeeper server01:2181 --delete --group test_group

# 删除消费者群组中的topic
kafka-consumer-groups.sh --zookeeper server01:2181 --delete --group test_group --topic test
kafka-run-class命令
# 导出偏移量
kafka-run-class.sh kafka.tools.ExportZkOffsets --zkconnect server01:2181 --group testGroup --output-file test_group_offsets

# 查看test_group_offsets
cat test_group_offsets

# 结果
/consumers/testGroup/offsets/test_java/0:60
/consumers/testGroup/offsets/test_java/1:12
/consumers/testGroup/offsets/test_java/2:33


# 导入偏移量
kafka-run-class.sh kafka.tools.ImportZkOffsets --zkconnect server01:2181 --input-file test_group_offsets


# segment片段信息
kafka-run-class.sh kafka.tools.DumpLogSegments --files /hadoop/kafka/logs/test-1/00000000000000000000.log

# segment片段信息 -print-data-log
kafka-run-class.sh kafka.tools.DumpLogSegments --files /hadoop/kafka/logs/test-1/00000000000000000000.log -print-data-log

# 输出结果
Starting offset: 0
offset: 0 position: 0 CreateTime: 1531535576273 isvalid: true keysize: -1 valuesize: 5 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: world
offset: 1 position: 73 CreateTime: 1531535921119 isvalid: true keysize: -1 valuesize: 4 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: lead
offset: 2 position: 145 CreateTime: 1531535928792 isvalid: true keysize: -1 valuesize: 4 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: java
offset: 3 position: 217 CreateTime: 1531535933287 isvalid: true keysize: -1 valuesize: 1 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: f
offset: 4 position: 286 CreateTime: 1531535940595 isvalid: true keysize: -1 valuesize: 2 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: la
offset: 5 position: 356 CreateTime: 1531535944164 isvalid: true keysize: -1 valuesize: 2 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: lf
offset: 6 position: 426 CreateTime: 1531535949468 isvalid: true keysize: -1 valuesize: 2 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: lo
offset: 7 position: 496 CreateTime: 1531536196524 isvalid: true keysize: -1 valuesize: 2 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: ll
offset: 8 position: 566 CreateTime: 1531547074348 isvalid: true keysize: -1 valuesize: 2 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: lo
offset: 9 position: 636 CreateTime: 1531547078872 isvalid: true keysize: -1 valuesize: 3 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: pop
offset: 10 position: 707 CreateTime: 1531547082156 isvalid: true keysize: -1 valuesize: 2 magic: 2 compresscodec: NONE producerId: -1 producerEpoch: -1 sequence: -1 isTransactional: false headerKeys: [] payload: ls
张行之
关注
专栏目录
kafka相关命令操作
登峰造极胡子球手
06-30 2844
启动kafka(到每个节点启动) node01： nohup ./bin/kafka-server-start.sh config/server.properties & node02： nohup ./bin/kafka-server-start.sh config/server.properties & node03s： nohup ./bin/kafka-server-start.sh config/server.properties & 创建topic bin/kafk
kafka相关命令
qq_34648165的博客
01-27 103
创建topic /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --create --zookeeper master.hive.com:2181,node01.hive.com:2181,node02.hive.com:2181 --replication-factor 1 --partitions 1 --topic data_test ---------------------------------- --zookeeper：为zk服务器地址，..
kafka启动（使用kafka内置的Zookeeper和KRaft启动kafka）
最新发布
qq_46112274的博客
08-11 815
kafka启动（使用kafka内置的Zookeeper和KRaft启动kafka）
kafka基本操作命令
qq_56870570的博客
06-18 419
1，开启zookeeper集群 startzk.sh 2，开启kafka集群 start-kafka.sh 2，开启kafka可视化界面 kafka-manager ： start-kafka-manager.sh 3,生产者操作： kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic //my-kafka-topic时topic的名字 4,消费者操作： kafka-console-consumer...
kafka的相关命令
hanyong4719的博客
10-26 230
实时计算相关技术     Strom / JStrom    Spark Streming       Flink             实时性高           有延迟             实时性高         吞吐量较低         吞吐量高            吞吐量高        只能实时计算        离线+实时          离线+实时        算子...
kafka常用命令
chenlei0520的博客
02-08 1375
kafka命令
kafka 相关命令
weixin_43564627的博客
08-03 95
02-kafka 相关命令 创建 topic 和分配权限 在bin目录执行 命令如下 TP_RISK_ERROR_LOG1 -- topic 名字 ./kafka-topics.sh --create --topic TP_RISK_ERROR_LOG --replication-factor 3 --partitions 8 --zookeeper 10.41.8.201:2181 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAut
kafka命令行操作
epitomizelu的专栏
06-07 188
kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 3 --partitions 3 --topic input-kafka
Kafka 命令行操作
qq_43613793的博客
04-24 166
创建主题 bin/kafka-topics.sh --create --zookeeper centos01:2181,centos02:2181,centos03:2181 --replication-factor 2 --partitions 2 --topic topictest 输出Created topic "topictest".则说明主题topictest创建成功： 此时查看ZooKeeper中Kafka创建的/brokers节点，发现topictest的信息已记录在其中： 查询主题 b
Kafka常用操作命令
每天进步一点点儿
10-09 1590
1.启动Kafka，    其中">>/dev/null"表示将日志信息输出到"黑洞"，    其中"2>&1"表示将错误信息和前面的日志信息一样，也输出到"黑洞"，    末尾的"&"表示以后台方式启动kafka： bin/kafka-server-start.sh config/server.properties &am
Kafka常用命令行总结
小程故事多的博客
07-06 837
以下是kafka常用命令行总结： 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-fi
【kafka】kafka命令大全
margu_168的博客
09-15 980
本文将分享一些kafka经常使用的一些命令，不断完善中。
kafka运维命令大全
别来沾边儿
07-06 366
相关可选参数支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以为开头的topic;删除任意Topic (慎用)zk方式(不推荐)kafka版本 >= 2.2 支持下面方式（推荐）单个Topic扩容批量扩容 (将所有正则表达式匹配到的Topic分区扩容到4个) 正则表达式的意思是匹配所有; 您可按需匹配PS: 当某个Topic的分区少于指定的分区数时候,他会抛出异常;但是不会影响其他Topic正常进行;相关可选参数 | 参数 |描述 |例子| |--|--|--| |
Kafka的一些命令
jinjuesi2219的博客
11-01 230
kafka和zookeeper都用单机模式(standalone)布好 http://blog.csdn.net/weixin_37288522/article/details/70306325 创建topic 单机模式，一个broker，一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replica
Kafka 常用命令
09-23
Kafka常用的命令包括以下几个： 1. kafka-acls.sh：用于配置和查看Kafka集群的鉴权信息。 2. kafka-configs.sh：用于查看和修改Kafka的配置。 3. kafka-console-consumer.sh：用于消费消息的命令行工具。 4. kafka-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值