解决Kafka消费端接收消息时kafka.consumer.ConsumerFetcherManager$LeaderFinderThread问题

最新推荐文章于 2024-07-11 17:44:41 发布
最新推荐文章于 2024-07-11 17:44:41 发布
阅读量976 收藏 1
点赞数 3
文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42195126/article/details/120961836
版权

解决Kafka消费端接收消息时kafka.consumer.ConsumerFetcherManager$LeaderFinderThread问题

在生产端使用命令开始生产消息
kafka-console-producer.sh --topic first --broker-list 192.168.33.12:9092
image-20211025170215428
在旧版本的kafka中可以使用–zookeeper的形式开启消费端
bin/kafka-console-consumer.sh --topic first --zookeeper 192.168.33.12:2181
image-20211025152057281
此时可能会报kafka.consumer.ConsumerFetcherManager$LeaderFinderThread错误
image-20211025170252571
此时可以前往kafka所在目录/config中，使用vi server.properties 修改kafka配置文件， 将advertised.listeners中的host修改为自己的ip地址，集群内的所有机器都要修改成当前机器的IP，即可解决该问题

现在成功
image-20211025170330958
image-20211025170339918

BananaAres
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【Kafka】Kafka ERROR [ConsumerFetcherThread-console-consumer], Error for partition [xx,5] to broker 10
九师兄
07-25 1042
1.背景 kafka环境页面上看着正常，如下 在控制台里发数据也正常，但是消费数据的时候如下 [root@1 bin]# ./kafka-console-consumer.sh --topic topic_lcc --zookeeper xxx:2181 {metadata.broker.list=xxx:19093, request.timeout.ms=30000, client.id=console-consumer-1552, security.protocol=PLAINTEXT} [20.
跟我学Kafka源码之Consumer分析
小程故事多
01-04 451
在上一章，我们跟踪了Producer源码的整体流程和一些细节，本章我们将重点跟踪Consumer的源码细节。 Consumer的配置文件如下： Kafka Consumer配置: group.id: 指定consumer所属的consumer group consumer.id: ...
Kafka 消费进度
记录点点滴滴
03-08 1490
监控消费进度 : 看滞后程度：消费者 Lag , Consumer Lag滞后程度 : 消费者落后于生产者的程度Lag : 反映消费者的运行情况。
k8s服务突然中断重启原因排查-eviction manager: must evict pod(s) to reclaim memory
d495435207的博客
05-13 2870
k8s服务突然中断重启,linux系统报错eviction manager: must evict pod(s) to reclaim memory
可观测性-Metrics-Kafka监控
laker的博客
10-12 1848
使用Yammer Metrics来上报broker端的Metrics。Java客户端使用Kafka Metrics上报，这是一个内置的Metrics注册表，它最小化了客户端应用程序的依赖关系。两者都可以通过JMX方式获取，并且是可插拨的连接到你的监控系统。以下是公共指标生产者和消费者一样。
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
在使用 canal 和kafka处理数据同步时canal日志提示如下异常： java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request ...
springboot 基于spring-kafka动态创建kafka消费者
11-17
5. **运行与测试**：启动Spring Boot应用，当`kafka.consumer.enabled`设置为`true`时，消费者将开始监听指定的Kafka主题。你可以通过发送消息到该主题来测试消费者的运行情况。 以上就是基于Spring Boot和Spring ...
grafana-kafka 测试消费者组消费情况.json
05-24
grafana上kafka 测试消费者组消费情况使用的json文件
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel
08-15
5. **消费者（Consumer）**：消费者从Kafka订阅主题并消费消息。消费者可以属于消费组，同一组内的成员共享分区，实现负载均衡。 6. **消费者组（Consumer Group）**：消费组是消费者实例的集合，它们共同订阅一组...
KOA+egg.js集成kafka消息队列的示例
10-17
消费者则监听消息，当接收到消息时，它会调用服务层的`insert`方法将日志信息存入数据库。 在控制器层，例如`log.js`，我们定义了一个POST方法，接收日志信息并使用之前创建的生产者实例将这些信息发送到消息队列。...
SpringBoot中使用Kafka报错：Failed to construct kafka consumer
wufabao的博客
02-26 2万+
报错内容 在SpringBoot项目中使用了Kafka，在启动的过程中报错 2022-02-26 11:44:10.422 ERROR 26148 --- [ main] o.s.boot.SpringApplication : Application run failed org.springframework.context.ApplicationContextException: Failed to start bean 'org.springframe
Kafka常见错误及解决办法
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
Kafka Metrics指标监控
黑曼巴
03-26 1万+
本文以kafka2.1.1版本为例 官网地址：http://kafka.apache.org/21/documentation.html#monitoring
部署kafka时遇到的坑：kafka.common.KafkaException: Socket server failed to bind to xx:9092: Cannot assign req
weixin_44943959的博客
03-02 1万+
kafka学习
如何监控 Kafka 消费者组消费进度？
ＺＥＥＧＡＴＥＳ的博客
11-16 1094
如何监控 Kafka 消费者组消费进度？ 对于 Kafka 消费者来说，最重要的事情就是监控它们的消费进度了，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者 Lag 或 Consumer Lag。 所谓滞后程度，就是指消费者当前落后于生产者的程度。比方说，Kafka 生产者向某主题成功生产了 100 万条消息，你的消费者当前消费了 80 万条消息，那么我们就说你的消费者滞后了 20 万条消息，即 Lag 等于 20 万。 通常来说，Lag 的单位是消息数，而且我们一般是在主题这个级别
Kafka监测
Xjzzon的博客
11-08 440
Kafka监测 非同步分区监测 如果集群里多个非同步分区数量一直不变，应该是broker离线了。诊断问题前，试着运行默认的副本选举。如果数量恒定，但是没有broker离线或者数量波动，则需要根据非同步分区的情况进行分析，检查其共性，kafka-topic.sh --zookeeper zoo1.example.com:2181/kafka-cluster --describe。如果没有发现哪个broker级别的问题，那么就是整个集群的问题了。 集群级别的问题 一般分为两类:不均衡的负载和资源过度消耗。负载不
kafka报错（三）：Failed to construct kafka consumer
热门推荐
桃花惜春风
09-06 5万+
错误日志： Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kafka consumer at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:79...
python连接kafka生产者发送消息
最新发布
weixin_45531218的博客
07-11 227
同时发送msg和key时，有时会报错key_bytes不属于字节类型，于是就手动把json内容改成字节型，在发送。通过pip install kafka-python安装第三方工具。再导入相应的方法就可以连接kafka进行消息发送了。
this.kafkaConsumer.assign(this.topicPartitions);
04-29
这行代码指定了要将消费者分配到哪些主题分区上，以便消费者可以接收来自这些分区的消息。具体来说，`this.kafkaConsumer` 是一个 Kafka 消费者对象，`assign()` 方法用于指定要分配的主题分区，`this.topic...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值