kafka接收不到数据

最新推荐文章于 2024-05-10 04:15:50 发布

遛猫达人

最新推荐文章于 2024-05-10 04:15:50 发布

阅读量2k

点赞数

分类专栏： support日常文章标签： kafka

本文链接：https://blog.csdn.net/weixin_43472847/article/details/103642142

版权

support日常专栏收录该内容

10 篇文章 0 订阅

订阅专栏

kafka接收不到数据

一直都没有写博客，老是索取，没有回报，从今天开始记录每天碰到的问题。
今天接到客户的消息，说kafka组件接收不到数据。然后过一会又接收到了，过了一会又收不到了。
之前我们etl工具开发的kafka组件有些问题，如果kafka组件运行中报错了，那么通知kafka的broker的退出group的消息并没有发送成功，因为 kafka不支持异步调用关闭消费者的api.
这就导致kafkabroker还以为消费者还在运行，于是继续把它当成活动的消费者，于是忽略新的消费者（由kafka的消费者分组策略导致）。 而新启动的etl任务中的消费者，在kafkabroker的心跳检测到旧消费者死前，都收不到消息。
于是，我先给客户把消费者组件换了。防止这个问题出现。可是客户还是说收不到消息。甚至换了groupid，也没有用。
奇怪了，从来没碰到过。
于是发了命令bin/kafka-consumer-groups.bat --new-consumer --bootstrap-server ip:21007 --group group --describe，让客户执行，看看消费者群组的情况，消费者是否注册成功。
可是客户执行命令时，又报错java not found，想起华为fusioninsight服务客户端软件安装时，都需要先点一下环境初始化脚本，估计客户没有执行这个脚本就开始执行kafka命令了。
过了一会儿，客户反应接收可以了，终于告一段落。
由于不能远程，只能这样不停的说来支持，真是太累了。