Kafka消费不到数据

已于 2023-06-28 16:02:11 修改
阅读量3.5k 收藏 2
点赞数
文章标签： kafka 分布式
于 2023-05-16 10:07:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wildding/article/details/130699461
版权
本文介绍了当Kafka消费不到数据时的解决步骤，包括停止Kafka服务，清理logdir目录，通过Zookeeper删除相关节点，重启服务，以及启动生产者和消费者进行测试。提供了两种方法，一种是通过zkCli.sh删除__consumer_offsets节点，另一种是停止Zookeeper并清理dataDir数据。
摘要由CSDN通过智能技术生成

1.首先停止kafka： kafka.sh stop

2.查看/config/server.properties看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/*   (注：kafka报错日志可以在 logs里 server.log查看)

两种方法：

方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点

方法2：停止zookeeper： zk.sh stop  查看conf/zoo.cfg的dataDir的路径，删除目录中的数据（

最低0.47元/天 解锁文章
wildding
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Kafka消费不到数据的特殊情况
weixin_30877755的博客
11-13 1421
我大约是把kafka消费不到数据的特殊情况都经历了一遍了吧= =、 kafka消费不到数据的原因，首先检查配置之类的，如是否设置了group.id，对应的topic是否正确等等，这些不多说。 下面是我遇到的几种kafka消费不到数据的情况： 1.多分区，单例消费者的情况，只消费到一个分区，应多加几个消费者，不能用单例，直接subscribe的话，rebalance机制启动，手动的话如下 ...
flink消费kafka数据存储到elasticsearch的演示deno
07-23
1、flink监听localhost的kafka，作为source，接收数据。 2、数据流转到elasticsearch 3、flink web ui提交jar文件，创建任务流程。 4、流程测试。
kafka消费不到数据问题
qq_42315376的博客
02-27 7881
kafka消费者不能正常消费的原因与解决方法
【kafka消息查询】kafka消费不到数据，写入端伙伴说他写入了，而且没有报错，如何来切割是写入的问题还是消费的问题
weixin_40293999的博客
08-07 532
kafka消费不到消息，如何查询界定是生产端的问题还是消费端的问题，特别是场景上下文已经丢失了的时候。kafka参考文档。
2024年最全Kafka数据丢失原因及解决方案_kafka消息丢失解决方案，成功拿下大厂offer
最新发布
2401_84181524的博客
05-05 470
解决方法：修改ack设置为-1。(可以结合幂等性做到。
kafka无法消费数据
weixin_44866921的博客
03-17 447
2.查看要删除的节点 ls /brokers/topics 并用 deleteall /brokers/topics/__consumer_offsets 对其进行删除就可。原因：consumer与zookeeper集群中的leader无法建立连接，（我的情况是删除了之前的zk，现在又新加入了一个）。进入zookeeper客户端，将brokers节点下的topics节点下的__consumer_offsets删除就可。1.在启动zookeeper的前提下，打开./zkCli.sh。
Kafka 消费者远程读不到数据
ChengYanan的博客
08-28 1564
kafka远程消费不到数据,但是也不报错 远程主机用telnet命令去测试kafka以及zookeeper节点的9200端口以及2181端口都畅通。 这是因为没有配置advertised.host.name，所以kafka获取ip信息的时候使用的是java.net.InetAddress.getCanonicalHostName()，在linux下该方法获取的是主机名。 说明：在老版本的kafk...
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 2071
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
系统kafka不消费-topic问题
一个后知后觉人路。。
11-03 2742
系统kafka不消费-topic问题
kafka生产的数据没有消费（已解决）
a1165117473的专栏
11-06 7553
    程序中往kafka里写入数据，但是消费命令没有把数据录入数据库，可能是下面问题： 1、程序中的topic 和 connector  的topic   和数据库表名称 三者要一致。 2、jps看下，schema  kafka  connector   三个进程都启动。 3、connector 数据库配置确保正确。...
Kafka某Topic的部分partition无法消费问题
clz1314521的专栏
06-04 3056
今天同事反馈有个topic出现积压。于是上kfk管理平台查看该topic对应的group。发现6个分区中有2个不消费，另外4个消费也较慢，总体lag在增长。查看服务器日志，日志中有rebalance 12 retry。Exception，之后改消费线程停止。于是分析代码，将每个处理逻辑加上耗时日志，分析发现又是hbase写入耗时达到3秒。于是将hbase写入开关关闭。重新运行后，消费正常。
kafka 生成消费dome
02-25
### Kafka消费者API 消费者API同样简单，首先创建消费者实例： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test"); props.put(...
kafkacs_kafka消费_
10-03
标题"Kafkacs_kafka消费_"表明我们将探讨如何从Kafka中消费数据，而描述中的“从kafka生产数据样例”则提示我们也会涉及到数据生产。下面将详细阐述Kafka的消费和生产过程。 ### Kafka基本概念 Kafka是一种高吞吐量...
kafka-python批量发送数据的实例
09-19
在Python中，Kafka是一个广泛使用的分布式消息系统，它允许应用程序高效地生产、消费和存储大量数据。`kafka-python`是Python社区中一个流行的Kafka客户端库，它提供了与Kafka服务器交互的各种功能，包括生产者、...
kafka读取写入数据
08-24
本文将深入探讨“Kafka 读取写入数据”的核心知识点，包括 Kafka 的基本架构、数据模型、生产者与消费者原理以及最佳实践。 ### 1. Kafka 基本架构 Kafka 是一个高吞吐量、分布式的发布订阅消息系统。它由以下几个...
记录一次本地开发环境kafka消费者不消费问题
芬达的成长之路
04-19 1117
kafka消费者不消费问题
一次关于Kafka消息不消费的记录
qq_34673128的博客
07-23 2600
kafka消息投递成功，消费者端一直消费不成功
kafka消费不到数据
08-30
kafka消费不到数据的问题可能有几种可能性。首先，可能是发生了重平衡。当消费者组中的消费者发生变动时，比如有新的消费者加入或者旧的消费者离开，就会触发重平衡。在重平衡期间，消费者无法消费数据，直到平衡完成。 另一个可能的原因是Group coordinator查找失败。当消费者尝试加入消费者组时，会去查找Group coordinator，如果查找失败，就无法正常消费数据。 此外，如果你的kafka使用了华为mrs kafka，并且对于消费者进行了权限管理，可能会出现消费者没有访问权限的情况。当消费者没有被授权访问某些Topic时，尝试消费数据时会出现消费失败的情况。错误信息可能包含"Not authorized to access topics"。 针对这些问题，你可以尝试以下解决方法： 1. 等待重平衡完成，确保消费者组中的消费者稳定。 2. 检查Group coordinator是否可用，确保消费者可以成功加入消费者组。 3. 检查消费者的权限设置，确保消费者被授予了正确的Topic访问权限。 通过解决以上可能的问题，你应该能够解决kafka消费不到数据的情况。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [关于与kafka的爱恨交织](https://blog.csdn.net/qq_40634730/article/details/125257125)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available](https://blog.csdn.net/u010321872/article/details/131602411)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值