记录一次kafka订阅数据订阅不到的坑

最新推荐文章于 2024-07-04 16:32:11 发布

zeratyl

最新推荐文章于 2024-07-04 16:32:11 发布

阅读量2.7k

点赞数

分类专栏：杂记 java

本文链接：https://blog.csdn.net/zeratyl/article/details/80952507

版权

java 同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

杂记

5 篇文章 0 订阅

订阅专栏

使用java开发kafka订阅的程序，在本机可以测通，但是在公司虚机上始终订阅不到数据，最后发现虚机的hostname需要配到本地hosts文件中,

补充：

在公司的虚机连通以后连接客户的kafka，发现再次订阅不到数据，通过debug发现用户的partition里指定的kafka地址为localhost，将本机hosts的localhost改为用户ip后，成功拉取到数据

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zeratyl

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
记录一次kafka订阅数据订阅不到的坑

使用java开发kafka订阅的程序，在本机可以测通，但是在公司虚机上始终订阅不到数据，最后发现虚机的hostname需要配到本地hosts文件中
复制链接

扫一扫

专栏目录

Doris 数据集成 Kafka

04-26

6万+

这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。

Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

zhengzaifeidelushang的博客

08-01

1438

Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

参与评论您还未登录，请先登录后发表或查看评论

【MySQL】java死锁例子

m0_57767600的博客

07-08

262

深耕技术，啃下22个技术点互联网行业更新换代非常快，行业常态便是不断学习，因此这些主流技术你一个都不能落下！ ①并发编程 Java并发编程是整个Java开发体系中最难以理解，但也是最重要的知识点之一，因此学习起来比较费劲，从而导致很多人望而却步，但是无论是职场面试还是高并发高流量的系统的实现都离不开并发编程，能够真正掌握并发编程的人才在市场上供不应求。 ②JVM JVM存在的意义就是实现跨平台，而JVM也是中高级程序员必须要掌握的技术，基本上面试必问。学JVM也是为了更深入地理解Java，很多

kafka-记一次线上收不到订阅的Topic的消息

雪落南城的博客

06-24

2609

有一个服务，订阅了6个topic 上次上线时间5.22 但是在6.2号的时候开始接受不到其中的3个topic的消息其他消费者可以收到，只有这一个服务收不到 1、使用了kafka的一个可视化工具：Kafka Tool 正常情况用该工具可以看到消费者订阅的topic以及 partition数发现少了3个topic 2、查看线上日志： Container excepti...

kafka--发布-订阅消息系统

最新发布

IT深耕十余载，大道之简

07-04

711

Apache Kafka 是一个分布式流处理平台，它主要用于构建实时数据管道和流应用。尽管 Kafka 常被描述为一个消息系统，但它提供的远远超出了传统消息队列系统的功能。Kafka 的核心是一个高吞吐量、持久化、分布式的日志服务，它允许你发布和订阅流式的记录，这些记录被称为“消息”。

Kafka概念-架构

qq_43590904的博客

10-01

413

Kafka概念-架构目录消息队列的好处消息队列模式什么是 Kafka Kafka整体架构及解析消息队列的好处解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。(注意消息重复消费) 缓冲有助于控制和优化数据流经过系统的速度,解决生产者和消费者处理消息能力不一致的问题灵活性 &

关于kafka的新的group无法订阅到topic中历史消息的问题

joy6331的专栏

04-18

5357

今天在写kafka的java api例子时候，遇到一个问题，比如我创建了一个test主题，往里面写了1,2,3,4,5条消息，在这个时候，我用一个新的group启动了一个消费者，发现该消费者只能读到5以后的消息，而1到5的消息是读不到的，于是感到疑惑，就去官网上找了一下，看到这这样一个配置项“auto.offset.reset”，该配置项的描述如下： What to do when there

kafka 收不到消息_Kafka 读取不到数据，没有报错信息

weixin_39787826的博客

12-19

2426

现象：kafka写入和消费一切正常情况，通过一段时间的运行，偶尔发现取不到数据；最后查看kafka消费情况，发现有阻塞。解决：1、确认kafka运行情况，是否有堵塞/kafka/bin/目录下执行./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper=localhost2181 --group=0 被网上一些代码片段坑骗...

python kafka消费不到数据_logstash无法消费kafka数据

weixin_39793434的博客

12-17

3235

通过在控制台执行logstash，可以看到正常连接到kafka，但数据一直无法消费，然后过大约5分钟后连接就断开了，也能看到明显的提示[WARN ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator][main] [Consumer clientId=logstsh-0, groupId=gc] This member ...

java实现flink订阅Kerberos认证的Kafka消息示例源码

04-16

在Java中实现Flink订阅Kerberos认证的Kafka消息是一项关键任务，特别是在处理安全敏感的数据流时。本文将深入探讨这一主题，介绍如何利用Apache Flink与Kafka的集成，以及如何通过Kerberos进行身份验证。首先，...

kafka消费者客户端启动之后消费不到消息的原因分析

weixin_33826268的博客

04-12

4845

如果你发现你的一个消费者客户端A已经启动了，但是就是不消费消息，此时你应该检查一下该消费者所在的组中（ConsumerGroup）是否还有其他的消费者，topic的分区可能被组中其他的消费者线程抢走（负载均衡机制），从而导致消费者客户端A连一个分区都没有得到，自然消费不到消息。 ...

Kafka的坑：消费者无法消费消息

热门推荐

厚积薄发

03-29

2万+

问题：今天使用Kafka做一个小DEMO，但运行的时候，可以在控制台上看到生产者发送的消息，无法看到消费者在消费消息，但通过命令行可以看到消费者消费的消息。生产者应该是没有问题的，给出消费者的代码： /** * Kafka消费者 */ public class KafkaConsumer extends Thread{ private String topic; public...

@kafkalistener消费不到消息_KAFKA的消费时OFFSET管理

weixin_32946431的博客

12-25

2862

基本概念介绍topic消息队列partitiontopic下的存储单元，类似分片(sharding)，每个partition对应一个实体文件offsetpartition内每条消息的ID，单个partition内递增brokerkafka集群的节点，负责存储消息，也是生产消费消息的接入点consumer_group消费组。同一消费组对应的同一topic的下同一个partition只有一个...

Kafka收不到消息(本人遇到的情况)

mhw666的博客

09-10

5129

报错如下 19/09/10 09:02:40 WARN ClientUtils$: Fetching topic metadata with correlation id 0 for topics [Set(nb6)] from broker [id:0,host:node01,port:9092] failed java.nio.channels.ClosedChannelException a...

问题记录: kafka producer.send(record) topic可以创建, 确无法从kafka-console-consumer中查看到此topic上的内容

weidenglu11的专栏

08-16

3862

Producer.send (record) 方法, topic可创建, 但不能发送消息到这个topic 通过kafka-console-consumer.sh无法查看到

Spring Boot：集成Kafka实现消息的发布和订阅

Crane的博客

05-11

2321

本文使用上一篇文章<<Docker案例：MacOS搭建单节点Kafka服务>>中通过Docker搭建的Kafka服务进行SpringBoot的集成，详细步骤如下： 1 依赖包引用在build.gradle文件中添加依赖如下： implementation 'org.springframework.kafka:spring-kafka' 2 配置信息当前使用application-dev.properties，在文件中添加如下相关Kafka信息如下： #>>>

记录一个kafka发送消息后无法接收消息问题

hehehechen的博客

06-12

3077

记录一个kafka发送消息后无法接收消息问题检查kafka堆积等数 ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group UAT_FRONT_DATA_HBASE_SAVE_CONSUMER_GROUP --topic uat-das-front-stat-topic 手动消费发现堆积仍在继续 Pid Offset 为Prtition 分区 logZize 为已经消费的数,总数

记录一次kafka topic 消费不到数据问题排查

u012693823的博客

07-23

5077

如果数量小于既定kafka broker数说明kafka挂了,需要重启kafka kafka.1.server status #检查 kafka.1.server start #启动如果无上述命令,执行 history|grep kafka , 查看kafka相关启动命令如果执行命令无法启动kafka,极有可能是内存不足或者磁盘不足内存不足执行top命令,看哪个应用占的比较多,能干掉的先干掉如果磁盘不足执行df -h ,看是哪个文件过大导致,清理出多余

Kafka：分布式发布-订阅的高性能流数据平台

Kafka是一个强大的分布式发布-订阅消息系统，最初由LinkedIn开发，后来成为Apache软件基金会的开源项目。它基于Scala语言构建，专为处理实时流式数据而设计，尤其适用于高吞吐量场景。Kafka的主要特性包括： 1. **...