springboot项目连接虚拟机kafka服务器，消息发送、接收问题

最新推荐文章于 2024-06-02 19:29:15 发布
最新推荐文章于 2024-06-02 19:29:15 发布
阅读量8.7k 收藏 2
点赞数 1
分类专栏： kafka 文章标签： kafka springboot listener
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sy_wb/article/details/83505849
版权

错误信息：Group coordinator promote.localdomain:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery
2018-10-29 14:56:52.496  INFO 33656 --- [ntainer#0-0-C-1] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=test] Discovered group coordinator promote.localdomain:9092 (id: 2147483647 rack: null)

本人开发环境是window10+idea+springboot，而kafka服务器是搭建在虚拟机（Ubuntu17）中的，启动服务后，这边启动springboot项目无法连接到服务器，解决的思路主要是分两步。

【tips】：有时候连接有问题，但是不会打印详细错误信息，比较好的做法是在springboot配置错误信息级别为debug

（1）项目访问kafka服务器时会根据hostname，因此在window本地的hosts文件中࿰

最低0.47元/天 解锁文章
sydiesel
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【kafka】Group coordinator xx is unavailable or invalid, will attempt rediscovery
九师兄
12-23 8982
kafka报错，但是这个环境，从监控上看一切正常。9092端口正常，zk正常，服务正常，查看topic正常，但是控制台消费异常。代码消费异常。kafka 相应的hostname 和ip 对应关系没有配置Kafka 消息无法接收(group coordinator is not available)
springboot集成kafka0.10.0.1并发送邮件项目
07-11
总结起来，本项目展示了如何在Spring Boot应用中集成Kafka 0.10.0.1，创建消费者监听topic并接收消息，同时利用JavaMailSender发送邮件。通过这样的集成，我们可以构建实时的数据流处理系统，当有新消息到达时，系统...
SpringBoot 整合Kafka实现消息的发送和接收
08-27
kafka下载、安装、配置及完整运行代码
kafka消费者问题
感谢你的关注~~~~ღ( ´･ᴗ･` )
06-15 280
在消费者所在服务器中配置hosts文件。ip:9092 机器名。
Springboot整合kafka简单使用
最新发布
m0_56353506的博客
06-02 1417
Kafka 是一个开源的分布式流处理平台，最初由 LinkedIn 开发并贡献给 Apache 软件基金会。它设计用于构建高性能、持久性、可伸缩和容错的实时数据管道和流处理应用程序。发布-订阅模型：Kafka 使用发布-订阅模型，其中消息生产者将消息发布到主题（topic），而消息消费者从主题订阅消息。这种模型可以支持多个消费者同时消费消息，并且具有良好的扩展性。主题（Topic）：主题是消息的逻辑分类，相当于一个消息队列。消息被发布到主题，并且消费者从主题订阅消息。分区（Partition）
记录kafka consumer 消费失败
xc312726的专栏
06-07 1万+
简单记录一下困扰一天的kafka问题 背景是拿备份数据启kafka服务，之后项目就连不上kafka 输出大致是这样的： [ Thread-27] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=111] Group coordinator xxxxx:9092 (id: 2147483647 rack: null) is unavailable or invalid, wil...
spring整合kafka时出现Group coordinator is unavailable or invalid, will attempt rediscovery错误
weixin_55174868的博客
05-27 6716
                                                                       .
重新discovery coordinator，然后JoinGroup + SyncGroup
大JAVA解决方案
07-17 1849
在前面我们讲过，KafkaProducer是线程安全的，同时其内部还有一个Sender，开了一个后台线程，不断从队列中取消息进行发送。 而consumer，是一个纯粹的单线程程序，后面所讲的所有机制，包括coordinator，rebalance, heartbeat等，都是在这个单线程的poll函数里面完成的。也因此，在consumer的代码内部，没有锁的出现。 //客户端线程 while (true) { ConsumerRecords<String, String> ...
kafka踩坑:kafka内网地址nat后，consumer无法消费问题，及解决方案
仙道Bob的专栏
11-20 6192
一、项目背景 二、问题描述 三、解决方案 四、实施 五、总结
spring boot整合spring-kafka实现发送接收消息实例代码
08-30
Spring Boot 整合 Spring-Kafka 实现发送接收消息实例代码 Spring Boot 是一个基于 Java 的开源框架，它提供了一个灵活的方式来构建 Web 应用程序。Spring-Kafka 是一个基于 Apache Kafka 的消息队列组件，提供了...
springboot 基于spring-kafka动态创建kafka消费者
11-17
在Spring Boot应用中，我们可以利用Spring Kafka框架来与Apache Kafka进行集成，实现高效的消息传递。本文将详细探讨如何在Spring Boot项目中基于Spring Kafka动态创建Kafka消费者。 首先，了解Kafka基本概念：...
springboot-kafka:springboot整合kafka实现消息的发送与消费学习
05-13
在本文中，我们将深入探讨如何使用Spring Boot与Apache Kafka进行集成，从而实现在Java应用程序中发送和接收消息。Spring Boot简化了Kafka的配置，并提供了强大的API来处理消息队列。我们将从以下几个方面来详细讲解...
kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery
gaofeng的博客
09-29 1万+
报错 消费单节点kafka 要么消费很缓慢 要么报错 Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery 重启节点也没用 分析 单节点情况下coordinator 压力太大了 __consumer_offsets这个元主题的历史消息量分配不均衡 有分区kb、M级别正常，有几个分区直接几十G，如果消费的主题在这些压力大的分区，就会消费阻塞 因为这个元主
Kafka 排查 Discovered coordinator XXXXX:9092 (id: 2147483647 rack: null) for group itstyle.
热门推荐
weixin_42226303的博客
06-29 1万+
报错信息： Discovered coordinator DESKTOP-NRTTBDM:9092 (id: 2147483647 rack: null) for group itstyle. 原因： windows 上运行的kafka 拿到的host是机器名而不是IP地址 所以会导致报错 DESKTOP-NRTTBDM 是 Kafka 实例所在服务器的主机名 而9092 是 kafka 的端口即 Kafka 的连接地址。 解决方案 直接修改本机 hosts 文件 windows 系统 hosts 文件位
kafka异常之Commit cannot be completed since the group has already rebalanced and assigned the partition
高新富的博客
11-19 1731
1.问题描述 2020-11-19 10:07:14.216 INFO 58352 --- [.1.136_8848-dev] c.a.n.client.config.impl.ClientWorker : get changedGroupKeys:[] 2020-11-19 10:07:14.218 INFO 58352 --- [ge-manage-group] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=cons
kafka消费者--加入consumergroup流程
atarik@163.com
03-15 5321
一个消费者 group 由一个或者多个消费者组成，原则上每个消费者都需要有一个 groupId。这个可以在KafkaConsumer创建的时候指定。当消费者组只有一个消费者时，此时可以认为就是点对点模式；当有多个消费者时，就可以认为是发布订阅模式。 对于Broker 端的TopicPartition 而言，一个Partition 只能被一个消费者消费。也就是说，假设一个Topi...
Springboot 消费kafka报错 Group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null) is unavailable
wppwpp1的专栏
08-21 4093
1,目前消费kafka一直报如下错误： 2020-08-19 20:23:16.279 INFO [bigdata-openapi-app,,,] 4312 --- [ main] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=BIGDATA_CACHE_USER_LASTVIDEO2_1597839792] Discovered group coordinator
Marking the coordinator dead for group recommender报错
javaChengXuY的博客
05-31 776
spark整合Kafka报错： Marking the coordinator hadoop-01:9092 (id: 2147483647 rack: null) dead for group recommender 在网上查询是因为调用的时候没有在windows的host中设置kafka所在机器的映射。我kafka所在机器名称是hadoop-01，后在host中将机器名称和ip映射保存后解决！特此记录！ ...
Kafka消费异常
qq_41024246的博客
04-22 859
Kafka消费异常 [INFO ] [2021-04-22 09:59:30.899] org.apache.kafka.clients.consumer.internals.AbstractCoordinator.coordinatorDead Marking the coordinator localhost:9094 (id: 2147483645 rack: null) dead for group rc-bond-rates-grade-sit [INFO ] [2021-04-22 09:..
springboot项目如何引进kafka
11-10
在Spring Boot项目中引入Kafka，需要在pom.xml文件中添加Kafka的依赖。可以在Maven中央仓库中找到Kafka的依赖，也可以在Spring官网中找到Kafka的依赖。在pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.7.2</version> </dependency> ``` 在application.yml文件中配置Kafka的相关信息，例如： ```yaml spring: kafka: bootstrap-servers: 192.168.1.113:9048 producer: key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer consumer: key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer group-id: MyGroup1 ``` 在代码中使用KafkaTemplate发送消息，例如： ```java @Autowired private KafkaTemplate<String, String> kafkaTemplate; @PostMapping("test") public RestResult test() { kafkaTemplate.send("TOPIC_NAME", 0, "key", "this is a message"); return RestResult.wrapSuccessResponse(); } ``` 同时，可以使用@KafkaListener注解监听Kafka消息，例如： ```java @KafkaListener(topics = "TOPIC_NAME", groupId = "MyGroup1", containerFactory = "kafkaListenerContainerFactory") public void kafkaListener(List<ConsumerRecord<?, ?>> records, Acknowledgment ack) { for (ConsumerRecord item : records) { System.out.printf("topic is %s, offset is %d,partition is %s, value is %s \n", item.topic(), item.offset(), item.partition(), item.value()); log.info("topic is : {}, offset is : {},partition is : {}, value is : {}",item.topic(), item.offset(), item.partition(), item.value()); } ack.acknowledge(); } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值