Kafka Java客户端无法消费 又不报错

最新推荐文章于 2024-04-12 22:32:21 发布
最新推荐文章于 2024-04-12 22:32:21 发布
阅读量3.9k 收藏 2
点赞数
分类专栏： linux Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41227335/article/details/83038145
版权
linux 同时被 2 个专栏收录
18 篇文章 0 订阅
订阅专栏
Kafka
13 篇文章 0 订阅
订阅专栏

首先kafka java api有新旧两个版本，区别：
旧版数据是存在zookeeper，配置文件是“zookeeper.connect ” 默认2181端口

在这里插入图片描述

新版数据存在topic，配置文件是 “bootstrap.servers” 默认是9092端口

在这里插入图片描述
推荐用新版

另外连接虚拟机打主机名需要在win10上配置linux的主机名IP映射才能连接

Jsoooo
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Kafka】Kafka 奇怪问题之无法用Java 客户端消费
九师兄
09-02 1061
1.背景 今天发现运行flink任务，结果没有消费到任何数据，然后我检查了配置发现正确。然后使用控制台去消费业正确，能正常消费，然后发送数据也能正常发送，但是就是无法使用java或者flink去消费，然后开始是flink无法消费，后来检查无果后，我写了一个Java客户端去去消费，然后还是无法消费。 然后去检查topic信息 可以看到topic信息正常，但是还是无法消费，我都怀疑是不是磁盘不够了，看了下是够的，然后怀疑网络，telnet下也是通的。 最后都想删除topic重建了。 然后我重启了一个kafk.
Kafka启动成功且运行程序无报错，无法消费数据，即外网无法连接Kafka的消费者或生产者
《@书山有径%》的博客
12-11 4582
Kafka启动成功且运行程序无报错，外网无法连接Kafka的消费者或生产者 sparkStreaming消费kafka中的数据，得不到数据以及无报错信息，找错误如下 首先检查一下，Kafka的消费者和Kafka生成者的Topic是否对应错误，以及其他错误 开启kafka使用下面指令，看kafka是否有错误 /opt/module/kafka/bin/kafka-server-start.sh /opt/module/kafka/config/server.properties 注意程序控制台是否出
java consumer.poll_kafka消费者API consumer.poll（）没有错误，没有异常，只是阻止
weixin_35170789的博客
02-19 1820
我正在学习遵循Apache kafka文档的kafka . 我用默认配置启动它 .bin/zookeeper-server-start.sh config/zookeeper.propertiesbin/kafka-server-start.sh config/server.properties &我运行了kafka-console-producer.sh和kafka-console-co...
kafka消费不到数据问题
qq_42315376的博客
02-27 7962
kafka消费者不能正常消费的原因与解决方法
kafka 订阅 java_解决“java实现kafka客户端消息产生订阅正常，但消费者获取消息consumer.poll被卡住了，无法正常打印接受消息日志”问题...
weixin_39728909的博客
02-16 1101
一、问题描述关于kafka客户端消息订阅产生demo示例中，运行KafkaProducerTest消息发送可以产生消息，但是运行消息消费订阅时候，卡在“ConsumerRecords consumerDatas=consumer.poll(100);”代码段，无法继续往下执行了，造成无法正常消费订阅消息并打印有效日志。二、解决方法1. 通过服务端bin目录提供命令行工具测试本地服务kafka-co...
spring 集成kafka消费者
zpzkitt的专栏
03-19 4646
本文主要是说明spring集成kafka的消费者功能和过程中遇到的各种小问题。 环境：spring-kafka-2.1.11.RELEASE；spring-boot-2.0.8.RELEASE main函数需要加上@EnableKafka，spring boot中几乎所有支持的模块都会有一个对应的Enable，例如schedule，spring cloud系列等，所以以后使用其他spring ...
Kafka使用Java客户端进行访问的示例代码
08-29
Kafka 使用 Java 客户端进行访问的示例代码 ...本文介绍了使用 Java 客户端来访问 Kafka 的示例代码，包括生产者代码和消费者代码。这些代码可以作为开发者使用 Java 客户端来访问 Kafka 的参考。
kafka-java-demo 基于java的kafka生产消费者示例
11-24
除了基本的生产和消费功能，Kafka还支持一些高级特性，如幂等性生产者、事务性消费者、连接器（Connectors）以及Kafka Streams，这些都可能在"Kafka-java-demo"中有所体现，帮助你更好地理解和应用Kafka。...
kafka–2-Java客户端
01-07
从kafka官网找例子： http://kafka.apache.org/ –>click Documentation http://kafka.apache.org/documentation/–>click 1.0.X http://kafka.apache.org/10/documentation.html –>click API ...
Java实现Kafka生产者消费者代码实例
08-19
主要介绍了Java实现Kafka生产者消费者代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Kafka客户端开发实例java源码.zip
11-06
在本压缩包“Kafka客户端开发实例java源码.zip”中，包含的是使用Java语言编写的Kafka客户端应用示例代码。Kafka是一款高吞吐量、分布式的消息系统，广泛应用于大数据实时处理、日志收集等领域。这个实例将帮助我们...
springboot kafka不消费_如何在springboot中实现kafka指定offset消费,你知道么？
weixin_39781930的博客
01-22 541
前言kafka消费过程难免会遇到需要重新消费的场景，例如我们消费到kafka数据之后需要进行存库操作，若某一时刻数据库down了，导致kafka消费的数据无法入库，为了弥补数据库down期间的数据损失，有一种做法我们可以指定kafka消费者的offset到之前某一时间的数值，然后重新进行消费。这里大家可以关注一下我的个人专栏《Java 进阶集中营》，每天会给大家即时分享一个最新的java技术资讯，...
springboot 开启和关闭kafka消费
没啥简介
11-24 2964
关闭kafka自动消费，手动开启和关闭kafka消费
kafka可以正常启动但消费不到数据
Zqq15919158003的博客
07-10 498
Kafka消费不到数据_kafka消费不到数据也不报错_wildding的博客-CSDN博客
【异常】记一次因处理Kafka消息时，没有消费记录，错误处理器抛出了ArrayIndexOutOfBoundsException异常，导致无法事件入库的问题
最新发布
本本本添哥
04-12 87
在某次开发过程中，开发人员遇到了一个棘手的问题：Kafka无法将消息传递给消费者，导致事件无法入库。开发人员对Kafka的配置和代码进行了仔细的检查，但仍然无法解决问题。车机上报的业务数据，无法在Web管理页面中查看到，即业务事件上报失败。
一次关于Kafka消息不消费的记录
qq_34673128的博客
07-23 2661
kafka消息投递成功，消费者端一直消费不成功
一步步解决spring-kafka消息丢失
热门推荐
布道
12-13 1万+
kafka的高性能、流式响应、对大数据支持是有目共睹的，在我们内部项目product-search有使用CDC的解决方案，而kafka成为该方案的输出源，此时各个业务方只需要去订阅消费即可。 1. 问题描述 有一天有开发人员找到我：我的consumer端消费kafka为何有时候可以消费到数据，有时候不行？dev环境我自己试了是没有问题的，而test环境就不行，不行的时候系统也没有任何报错信息...
Kafka无法消费的问题解决记录
jackycjw的博客
01-19 4719
今天同事那边出现了一个关于kafka无法消费的小问题。 框架是springboot，相同的程序，相同的配置，第一次启动可以消费到数据，第二次启动就无法消费。 经排查原因是： request.timeout.ms配置的时间太长，且第一次退出程序时，是强制退出，并不是优雅的关闭资源后退出。 这样导致kafka服务端针对该groupId的消费者仍然在拉取消息（TCP的特性）。后启动的程序由于groupId相同，无法分配到partition。故无法消费 解决方案： 1、程序优雅的关闭，不要强制退出。这样spring
Kafka 生产者、消费者命令行操作
qq_55961709的博客
09-05 9293
Kafka 生产者、消费者命令行操作
kafka java客户端无法消费消息
05-28
如果 Kafka Java 客户端无法消费消息，你可以按照以下步骤逐一排查问题： 1. 检查 Kafka 服务器是否正常：请确保 Kafka 服务器正在运行，并且你的消费者能够连接到 Kafka 服务器。你可以尝试使用命令行工具 `kafka-console-consumer` 来消费消息，以确认 Kafka 服务器是否能够正常提供服务。如果命令行工具也无法消费消息，那么可能是 Kafka 服务器出现了问题。 2. 检查消费者配置是否正确：请检查消费者的配置是否正确，包括 Bootstrap Server 地址、消费者组 ID、序列化器和反序列化器等。你可以尝试输出消费者的配置信息，以便确认配置是否正确。 3. 检查消费者订阅的主题是否正确：请确保消费者订阅的主题名称和 Kafka Producer 发送消息时使用的主题名称一致。你可以尝试输出消费者订阅的主题列表，以便确认订阅是否正确。 4. 检查消费者是否能够消费到消息：请检查消费者是否能够消费到消息，并且消费者能够正确地处理消息。你可以尝试输出消费者消费的消息内容，以便确认消费是否正确。 如果你按照以上步骤排查问题仍然无法解决，你可以查看 Kafka 的日志，以便更好地理解问题所在。同时，你也可以参考 Kafka Java 客户端的官方文档，以便更好地理解 Kafka 客户端的使用方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值