查看kafka的topic清单以及topic的内容

最新推荐文章于 2025-04-09 11:15:30 发布
最新推荐文章于 2025-04-09 11:15:30 发布
阅读量1.9w 收藏 12
点赞数 1
分类专栏： k8s Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangmiaoyan/article/details/109645776
版权

对于云端服务器上运行着的kafka集群，由于没有开放相关的端口，之前查看都是使用端口转发，ssh练上去之后，使用端口转发，转发到本地查看。

使用kafka时发现，zk连接上之后，里面的Brokers其实是云端服务器的内网，但是kafka tools会直接认为那些ip是本地ip，就会看不到kafka里面的内容。
在这里插入图片描述
在这里插入图片描述

试来试去，没找到合适的方法解决。如果有谁知道怎么弄，还请告诉我一声，非常感谢~

回到标题：
先进入容器，然后执行相关命令查看
cd bin/
查看kafka中topic清单：kafka-topics.sh --list --zookeeper [Server]:2181

查看某个topic内容：kafka-console-consumer.sh --bootstrap-server [Server]:9092 --from-beginning --topic [TopicName]

在这里插入图片描述

在这里插入图片描述

kafka管理工具 | 监控 | 偏移量 | 消费| offset，必备技能
玉皇大帝不开心
07-24 1242
Kafka内部提供了许多管理脚本，这些脚本都放在$KAFKA_HOME/bin目录下，CDH版本放在/opt/cloudera/parcels/KAFKA-3.1.0-1...
Java向Kafka的topic中写数据_Kafka生产者-向Kafka中写入数据
weixin_39722196的博客
02-27 2116
(1)生产者概览(1)不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。例子1：信用卡事务处理系统，不允许消息的重复和丢失，延迟最大500ms，对吞吐量要求较高。例子2：保存网站的点击信息，允许少量的消息丢失和重复，延迟可以稍高(用户点击链接可以马上加载出页面即可)，吞吐量取决于用户使用网站的频度。(2)K...
Kafka系列：查看Topic列表、消息消费情况、模拟生产者消费者
YJ000312的博客
03-29 4万+
这条命令其实并不执行删除动作，仅仅是在zookeeper上标记该topic要被删除而已，同时也提醒用户一定要提前打开delete.topic.enable开关，否则删除动作是不会执行的。a）在server.properties中设置delete.topic.enable参数为ture。3.执行删除命令：rmr /brokers/topics/test。2.找到topic所在目录：ls /brokers/topics。执行topic删除命令时，出现提示。
Kafka的broker、topic、partition、group的关系
最新发布
NoviceZ的博客
04-09 668
Kafka的消费模式主要有两种：一种是一对一的消费，也即点对点的通信，即一个发送一个接收。第二种为一对多的消费（发布/订阅模式），即一个消息发送到消息队列，消费者根据消息队列的订阅拉取消息消费。
查看kafka的topic列表
gavinoldmen的专栏
08-16 1097
4.将一个多分区的topic改为1个（会进行错误提示）3.修改topic的分区数（分区数只能增加不能减少）1.查看topic列表。2.查看指定topic。5.删除某个topic。
kafka查看topic配置
u011250186的博客
08-22 1万+
kafka查看topic配置
查看kafka版本_整理了Kafka的一些常用工具，建议收藏备用
weixin_39947016的博客
12-13 837
作者 | 犀牛饲养员责编 | 徐威龙封面付费下载于视觉中国本文主要列举一些 Kafka 的常用工具，以及举了一些例子来帮助理解。有需要的小伙伴，可以 Mark 起来再看。环境以下的操作都是基于kafka_2.11-2.2.0工具新建topicbin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 ...
【kafka】生产者
thinking-fish的博客
09-13 941
如果生产者发送消息的速度超过发送到服务器的速度，则会导致生产者空间不足，这个时候KafkaProducer的send（​）方法调用要么被阻塞，要么抛出异常，这个取决于参数max.block.ms的配置，此参数的默认值为60000，即60秒。增大这个参数的值会增加消息的延迟，但是同时能提升一定的吞吐量。方法的返回值是一个Future类型的对象，那么完全可以用Java语言层面的技巧来丰富应用的实现，比如使用Future中的 get（long timeout，TimeUnit unit）方法实现可超时的阻塞。
Kafka 物理存储机制
程序猿进阶
10-30 1万+
一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。Kafka的基本存储单位是分区。在配置Kafka的时候，管理员指定了一个用于存储分区的目录清单log.dirs参数的值。
Kafka分区管理（优先副本的选举、分区重新分配）
2401_84411847的博客
04-19 944
看完美团、字节、腾讯这三家的面试问题，是不是感觉问的特别多，可能咱们又得开启面试造火箭、工作拧螺丝的模式去准备下一次的面试了。开篇有提及我可是足足背下了1000道题目，多少还是有点用的呢，我看了下，上面这些问题大部分都能从我背的题里找到的，所以今天给大家分享一下互联网工程师必备的面试1000题。注意不论是我说的互联网面试1000题，还是后面提及的算法与数据结构、设计模式以及更多的Java学习笔记等，皆可分享给各位朋友互联网工程师必备的面试1000题而且从上面三家来看，算法与数据结构是必备不可少的。
Kafka生产者
金州饿霸吃不饱的博客
01-15 1229
如果研发人员可以根据企业需求，自己重新实现分区器。
kafka的topic小工具
10-19
kafka工具，连接之后可以查看所有主题以及分区并且也可以删除、创建，实时查看数据很方便。
kafka查看topic列表和topic消息
weixin_42324471的博客
09-28 9880
查询topic 列表信息 前提是需要进入到kafka的目录 Linux 目录 \kafka_2.12-2.8.0\bin\ sh kafka-topics.sh --list --zookeeper localhost:2181 windows 目录 \kafka_2.12-2.8.0\bin\windows kafka-topics.bat --list --zookeeper localhost:2181 window下执行截图 查看topic的消息列表 linux sh kafka-consol
kafka如何获取 topic 主题的列表？
java1234的博客
11-01 1610
kafka如何获取 topic 主题的列表？
kafka查看Topic列表及消费状态等常用命令
manong20210713的博客
08-29 1万+
　　本文中的操作均基于kafka_1.3.3.0，且所有命令经过实际验证。 2|0常用工具 新建Topic ./kafka-topics --zookeeper 166.188.xx.xx --create --topic flink_source --partitions 1 --replication-factor 1 replication-factor： 指定副本数量 partitions：指定分区 删除Topic ./kafka-topics --zoo
kafka查看topic
weixin_34034670的博客
12-17 1684
1 ./kafka-consumer-groups.sh --list --bootstrap-server kafka:9092 转载于:https://www.cnblogs.com/erdi/p/10132410.html
kafka命令行操作（topic增删查改、修改分区数、发送消息、消费消息、 查看消费者组 、更新消费者组中topic的偏移位置）
热门推荐
不是一枚开发
07-20 6万+
kafka
kafka2.x常用命令：创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费
朱季谦
11-26 5507
kafka2.x常用创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费指令
查看kafka的topic数据
AntdonYu的博客
07-15 1万+
启动kafka： ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 & # kafka-server-start.sh 脚本在 kafka_2.12-2.2.0/bin路径下 查看已创建的topic列表： ./kafka-topics.sh --list --zookeeper localhost:2181 查看对应topic的描述信息： ./kafka-t.
kafka命令
03-11
### Kafka 常用命令及用法 #### 创建主题 (Topic) 创建新主题是管理 Kafka 集群的重要部分之一。通过 `kafka-topics.sh` 工具可以实现这一功能： ```bash bin/kafka-topics.sh --create --topic my-topic-name \ --bootstrap-server localhost:9092 \ --partitions 3 \ --replication-factor 1 ``` 这条命令将会在指定的服务器上创建名为 `my-topic-name` 的主题，具有三个分区和一个副本因子[^1]。 #### 查看现有主题列表 为了查看当前集群中存在的所有主题，同样使用 `kafka-topics.sh` 工具执行如下命令: ```bash bin/kafka-topics.sh --list --bootstrap-server localhost:9092 ``` 这会返回一份包含所有可用主题名称的清单。 #### 使用控制台消费者读取消息 对于测试目的来说，利用内置的控制台消费工具 (`kafka-console-consumer.sh`) 是非常方便的方式去订阅特定的主题并实时接收消息数据流： ```bash bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --topic my-topic-name \ --from-beginning ``` 上述指令会让消费者从头开始处理存储于 `my-topic-name` 主题中的每一条记录[^2]。 #### 修改配置项 当需要调整某些参数设置时，则需要用到另一个强大的辅助程序——`kafka-configs.sh` 。此脚本允许管理员动态更改Broker级别的属性而无需重启服务进程： ```bash bin/kafka-configs.sh --alter --add-config 'log.retention.hours=168' \ --zookeeper localhost:2181 \ --entity-type brokers \ --entity-default ``` 这里展示了如何全局设定日志保留时间为7天(即168小时)，适用于整个Kafka集群内的每一个代理节点[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值