Group coordinator cdhtest002.sendinfo.com:9092 (id: 2147483581 rack: null) is unavailable or invalid

最新推荐文章于 2024-03-20 16:42:48 发布
最新推荐文章于 2024-03-20 16:42:48 发布
阅读量4.3k 收藏
点赞数
分类专栏： Kafka 文章标签： kafka spark hosts
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a544258023/article/details/108863113
版权

今天我在Windows下写了一个scala代码，用spark去消费kafka的数据， 然后报Group coordinator cdhtest002.sendinfo.com:9092 (id: 2147483581 rack: null) is unavailable or invalid, will attempt rediscovery 这个错误，这个是集群（kafka）中ip和hostname对应关系没有配置，解决办法如下：

Windows下修改C:\Windows\System32\drivers\etc\hosts文件，添加ip hostname

Linux 下修改/etc/hostname文件，添加ip hostname

【kafka】Group coordinator xx is unavailable or invalid, will attempt rediscovery
九师兄
12-23 9660
kafka报错，但是这个环境，从监控上看一切正常。9092端口正常，zk正常，服务正常，查看topic正常，但是控制台消费异常。代码消费异常。kafka 相应的hostname 和ip 对应关系没有配置Kafka 消息无法接收(group coordinator is not available)
【Kafka】kafka 卡死 Discovered coordinator xx:9092 (id: xxx rack: null) for group xxx
九师兄
12-09 1万+
1.背景 构建了一个kafka消费组，然后 2020-12-09 21:55:22 [XNIO-1 task-120] INFO o.a.k.c.consumer.ConsumerConfig - ConsumerConfig values: metric.reporters = [] metadata.max.age.ms = 300000 partition.assignment.strategy = [org.apache.kafka.clients.consumer.RangeAssign.
Group coordinator ali-ddd-cdhdev-04:9092 (id: 2147483643 rack: null) is unavailable or invalid, wil
一杯派蒙的博客
07-23 1万+
kafka 相应的hostname 和ip 对应关系没有配置
spring整合kafka时出现Group coordinator is unavailable or invalid, will attempt rediscovery错误
weixin_55174868的博客
05-27 7332
                                                                       .
kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery
gaofeng的博客
09-29 1万+
报错 消费单节点kafka 要么消费很缓慢 要么报错 Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery 重启节点也没用 分析 单节点情况下coordinator 压力太大了 __consumer_offsets这个元主题的历史消息量分配不均衡 有分区kb、M级别正常，有几个分区直接几十G，如果消费的主题在这些压力大的分区，就会消费阻塞 因为这个元主
Kafka Group coordinator xxx:9092 (id: xxx rack: null) is unavailable or invalid
a805814077的博客
03-02 1万+
Kafka Group coordinator xxx:9092 (id: xxx rack: null) is unavailable or invalid 报错 解决
kafka消费报错coordinator unavailable.Rediscovery will be attempt redisCovery
weixin_51656756的博客
07-18 2970
kafka消费报错coordinator unavailable.Rediscovery will be attempt redisCovery
Spark消费kafka任务卡死：Marking the coordinator xxx:9092 (id: 2147483647 rack: null) dead for group xxx
九师兄
11-29 9896
1.背景 2. 问题出现 运行了一个spark任务，然后，发现有一个Job特别的慢，其他的最多用了30分钟，但是这个任务却运行了 1.1个小时，数据量是100万的数据。 2.1 任务 点击进入 2.2 DAG 图 2.4 异常JOB 2.5 Job的DAG图 可以看到是从kafka开始消费的。 最后发现任务卡着 3.原因 最后一行 Marking the coordinator pla...
springboot项目连接虚拟机kafka服务器，消息发送、接收问题
sy_wb的博客
10-29 8896
错误信息：Group coordinator promote.localdomain:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery 2018-10-29 14:56:52.496  INFO 33656 --- [ntainer#0-0-C-1] o.a.k.c.c.inte...
flink kafkaconsumer线上问题：Marking the coordinator 2147483647 dead.
bianfulin01的专栏
04-28 3135
错误日志： 解决方案： 参考文章：http://www.bubuko.com/infodetail-2332804.html 修改参数： props.setProperty("fetch.max.wait.ms", "60000"); props.setProperty("session.timeout.ms", "500000"); props.setProperty("max.pa...
Kafka 消息无法接收(group coordinator is not available)
热门推荐
随风飘流的博客
01-25 2万+
#问题信息 ##问题现象描述 01-15，收到测试同学反馈，操作库存后，库存扩展数据没有变化。库存扩展数据是通过kafka消息异步更新的 查看消息处理 通过kafka做消息分发，producer和consumer均是同一个应用，消息发送正常，但consumer一直未获取到消息。 应用所有topic的消息均没有被消费。 重启应用后，消息消费正常。运行一段时间，又重现该问题场景 排查过程 找运维同事了...
Springboot 消费kafka报错 Group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null) is unavailable
wppwpp1的专栏
08-21 4224
1,目前消费kafka一直报如下错误： 2020-08-19 20:23:16.279 INFO [bigdata-openapi-app,,,] 4312 --- [ main] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=BIGDATA_CACHE_USER_LASTVIDEO2_1597839792] Discovered group coordinator
SpringKafka无法提交offset问题：Group coordinator not available
SpringBoy的博客
05-28 4431
SpringKafka无法提交offset问题：Group coordinator not available 在使用SpringKafka时，无法提交offset，提交时报错： 2022-05-28 17:24:32.078 INFO 14584 --- [umer_numb-0-C-1] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-consumer_numb-1, groupId=consumer_num
Group coordinator 192.169.0.16:9092 (id: 2147483647 rack: null) is unavailable or invalid due to cau
qq_41298861的博客
11-24 4178
使用管理员权限手动在C:\Windows\System32\drivers\etc\hosts文件中添加映射，手动让自己的电脑认识这个IP。我们可以注意一下控制台给出的域名地址，这个域名可能是因为解析问题或者限于远程服务器的安全策略做了转换。验证这个问题的办法，在windows开启telnet命令，在cmd中。kafka服务器的ip和kafka服务器对应的域名。
Anaconda创建虚拟环境报错—UnavailableInvalidChannel: The channel is not accessible or is invalid
liqiang12689的博客
01-28 3563
Anaconda创建虚拟环境报错—UnavailableInvalidChannel: The channel is not accessible or is invalid 解决办法：使用以下命令恢复默认源 conda c...
kafka连接提示Group cordinator syh_test:9092
最新发布
qq_44141082的博客
03-20 500
使用管理员权限手动在C:\Windows\System32\drivers\etc\hosts文件中添加映射。控制台这里给出的是域名地址syh_test，这个域名可能是因为解析问题或者限于远程服务器的安全策略做了转换。application.yml配置。在客户端机器上配置hosts解析。服务启动时连接kafka报错。
Group coordinator lookup failed: The coordinator is not available.问题
地球人是我哈的博客
05-21 3404
背景：最近使用的项目中用到了kafka，并且需要集成kerberos.这边kerberos认证已经通过，但是在消费的时候一直拉不到数据，随后使用shell命令在服务器上消费数据，结果一样。 后面更改日志级别，发现一直循环打印如下日志: 2020-05-21 10:05:06.651 [ForkJoinPool-1-worker-5] DEBUG org.apache.kafka.clients.Metadata - Updated cluster metadata version 133 to Cluste
记录kafka consumer 消费失败
xc312726的专栏
06-07 1万+
简单记录一下困扰一天的kafka问题 背景是拿备份数据启kafka服务，之后项目就连不上kafka 输出大致是这样的： [ Thread-27] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=111] Group coordinator xxxxx:9092 (id: 2147483647 rack: null) is unavailable or invalid, wil...
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test 用java实现
05-26
你可以使用 Kafka 的 Java API 来实现这个命令，具体实现如下： ```java import org.apache.kafka.clients.admin.AdminClient; import org.apache.kafka.clients.admin.AdminClientConfig; import org.apache.kafka.clients.admin.ConsumerGroupDescription; import org.apache.kafka.clients.admin.ConsumerGroupListing; import org.apache.kafka.clients.admin.ListConsumerGroupOffsetsResult; import org.apache.kafka.clients.admin.ListConsumerGroupsResult; import org.apache.kafka.clients.admin.ListOffsetsResult; import org.apache.kafka.clients.admin.OffsetSpec; import org.apache.kafka.clients.admin.TopicDescription; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.common.TopicPartition; import org.apache.kafka.common.serialization.StringDeserializer; import java.time.Duration; import java.util.Collections; import java.util.Map; import java.util.Properties; import java.util.Set; import java.util.concurrent.ExecutionException; public class KafkaConsumerGroups { public static void main(String[] args) throws ExecutionException, InterruptedException { Properties adminProps = new Properties(); adminProps.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); AdminClient adminClient = AdminClient.create(adminProps); // List Consumer Groups ListConsumerGroupsResult consumerGroupsResult = adminClient.listConsumerGroups(); Set<ConsumerGroupListing> consumerGroups = consumerGroupsResult.all().get(); for (ConsumerGroupListing group : consumerGroups) { System.out.println("Consumer Group: " + group.groupId()); // Describe Consumer Group ConsumerGroupDescription consumerGroupDescription = adminClient.describeConsumerGroups(Collections.singleton(group.groupId())).all().get().get(group.groupId()); System.out.println("State: " + consumerGroupDescription.state()); System.out.println("Coordinator: " + consumerGroupDescription.coordinator().toString()); System.out.println("Members: " + consumerGroupDescription.members().size()); System.out.println("Topic Partitions:"); Map<String, TopicDescription> topicDescriptions = adminClient.describeTopics(consumerGroupDescription.members().stream().map(member -> member.assignment().topicPartitions().iterator().next().topic()).distinct().toArray(String[]::new)).all().get(); for (TopicDescription topicDescription : topicDescriptions.values()) { for (TopicPartition partition : topicDescription.partitions()) { System.out.println("\t" + topicDescription.name() + "-" + partition.partition() + ": " + consumerGroupDescription.assignment().partitionsForTopic(topicDescription.name()).contains(partition)); } } // List Consumer Group Offsets ListConsumerGroupOffsetsResult consumerGroupOffsetsResult = adminClient.listConsumerGroupOffsets(group.groupId()); Map<TopicPartition, Long> consumerGroupOffsets = consumerGroupOffsetsResult.partitionsToOffsetAndMetadata().get(); System.out.println("Consumer Group Offsets:"); for (Map.Entry<TopicPartition, Long> entry : consumerGroupOffsets.entrySet()) { System.out.println("\t" + entry.getKey().topic() + "-" + entry.getKey().partition() + ": " + entry.getValue()); } // List Latest Offsets Properties consumerProps = new Properties(); consumerProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); consumerProps.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false"); consumerProps.put(ConsumerConfig.GROUP_ID_CONFIG, group.groupId()); consumerProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); consumerProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps); Map<TopicPartition, Long> latestOffsets = consumer.endOffsets(consumerGroupOffsets.keySet(), Duration.ofSeconds(5)); System.out.println("Latest Offsets:"); for (Map.Entry<TopicPartition, Long> entry : latestOffsets.entrySet()) { System.out.println("\t" + entry.getKey().topic() + "-" + entry.getKey().partition() + ": " + entry.getValue()); } // List Earliest Offsets Map<TopicPartition, Long> earliestOffsets = consumer.beginningOffsets(consumerGroupOffsets.keySet(), Duration.ofSeconds(5)); System.out.println("Earliest Offsets:"); for (Map.Entry<TopicPartition, Long> entry : earliestOffsets.entrySet()) { System.out.println("\t" + entry.getKey().topic() + "-" + entry.getKey().partition() + ": " + entry.getValue()); } } } } ``` 这个程序使用 Kafka 的 AdminClient 来获取消费者组信息、消费者组偏移量以及主题分区的最早和最新偏移量。你可以根据自己的需求修改程序，例如只获取特定的消费者组信息等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值