springmvc消费kafka，遇到一个topic消费无反应，但其他的topic正常消费

最新推荐文章于 2024-03-20 10:50:14 发布

puxiansen

最新推荐文章于 2024-03-20 10:50:14 发布

阅读量1.0k

点赞数

文章标签： kafka java 分布式 spring

本文链接：https://blog.csdn.net/puxiansen/article/details/131343323

版权

项目中遇到SpringMVC框架下，Kafka消费者能正常消费绿色topic但无法消费红色topic。经排查，非生产者问题，也非整体配置错误，而是特定topic的value序列化方式需从String更改为Byte，同时调整监听类为Object接收，以解决String接收时的报错问题。

摘要由CSDN通过智能技术生成

项目场景：

我们系统需要把设备版本的信息展示出来，数据是EAP对设备进行数采抛到kafka中，再由我们消费展示。

问题描述

我们的系统用的springmvc框架，整合kafka后，绿色topic都能正常消费，红色topic始终消费不到消息
在这里插入图片描述

原因分析：

1.没有生产者生产消息，导致消费不到

排查过程：kafka可视化软件查看到topic里是不断有消息产生的。

2.程序整合kafka配置错误，导致无法消费

排查过程：相同的代码，绿色topic都能正常消费，红色topic始终消费不到消息

解决方案：

kafka的spring xml配置
如上图配置，将value的序列化方式由String改为Byte即可
在这里插入图片描述
监听类也可以调整为Object接收，String接收会报错
SpringMVC整合kafka可参考博文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

puxiansen

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Kafka 读取不到数据，没有报错信息

weixin_34015566的博客

12-05

6143

2019独角兽企业重金招聘Python工程师标准>>> ...

kafka可以正常启动但消费不到数据

Zqq15919158003的博客

07-10

525

Kafka消费不到数据_kafka消费不到数据也不报错_wildding的博客-CSDN博客

1 条评论您还未登录，请先登录后发表或查看评论

kafka无法消费数据

weixin_44866921的博客

03-17

711

2.查看要删除的节点 ls /brokers/topics 并用 deleteall /brokers/topics/__consumer_offsets 对其进行删除就可。原因：consumer与zookeeper集群中的leader无法建立连接，（我的情况是删除了之前的zk，现在又新加入了一个）。进入zookeeper客户端，将brokers节点下的topics节点下的__consumer_offsets删除就可。1.在启动zookeeper的前提下，打开./zkCli.sh。

Kafka某个Topic无法消费问题

weixin_42284792的博客

01-03

5527

关于Kafka某个Topic无法消费问题

kafka整合springMVC(消费者)

SandorClegane1的博客

02-10

3729

kafka整合springMVC(消费者) 由于公司项目是mvc的，所以不得不用mvc进行整合，mvc的xml配置属实头疼，头疼也得开始搞。开始之前，需要先在虚拟机安装环境，网上教程很多，我就不介绍了，但是有几个配置文件需要注意，如下： kafka的配置文件server.properties,大约三十多行的地方，两个地址，需要填你自己的ip地址(我的虚拟机地址) 还有一个consumer.properties中的，一个consumer group.id 还有一个topic信息，网上大多使用的是如下命令

kafkaspringMVC

03-26

kafkaspringMVC

kafka消费数据，有时消费不到原因？

最新发布

beipiao_yizu的博客

03-20

3117

7：消费者客户端启动后未消费消息：如果发现一个消费者客户端已经启动了，但是就是不消费消息，应该检查该消费者所在的组中是否还有其他的消费者。综上所述，解决Kafka消费数据不到的问题，需要从多个方面进行排查和优化，包括但不限于检查配置、调整生产与消费的速度匹配、提高消费者的处理能力、确保网络稳定以及及时处理下游数据等。4：消费者处理能力不足：如果消费者的处理能力不足，例如处理逻辑复杂、计算密集，或者消费者数量较少，无法充分利用集群的并发处理能力，也会导致消费速度慢。

记录一次kafka topic 消费不到数据问题排查

u012693823的博客

07-23

5221

如果数量小于既定kafka broker数说明kafka挂了,需要重启kafka kafka.1.server status #检查 kafka.1.server start #启动如果无上述命令,执行 history|grep kafka , 查看kafka相关启动命令如果执行命令无法启动kafka,极有可能是内存不足或者磁盘不足内存不足执行top命令,看哪个应用占的比较多,能干掉的先干掉如果磁盘不足执行df -h ,看是哪个文件过大导致,清理出多余

springMVC-kafka消息分发

12-17

创建一个Kafka消费者类，同样使用`@Configuration`和`@Bean`注解，配置消费者属性。消费者监听特定主题，接收到消息后执行相应的业务逻辑。Spring的`ConcurrentKafkaListenerContainerFactory`可以帮助我们配置并...

springMVC+多线程+kafka的 demo基于maven

07-07

多次整理精简，得出基于maven 的springmvc 框架搭载：多线程（线程池式）和 kafka（集群下生产者消费者）；demo 下载导入改下kafka集群IP地址即可使用。

kafka 主动消费_Kafka消费者之如何进行消息消费

weixin_39651816的博客

12-20

1219

前言由于消费者模块的知识涉及太多，所以决定先按模块来整理知识，最后再进行知识模块汇总。一、消息消费1、poll()Kafka 中的消费是基于拉模式的，即消费者主动向服务端发起请求来拉取消息。Kakfa 中的消息消费是一个不断轮询的过程，消费者所要做的就是重复地调用 poll() 方法，而 poll() 方法返回的是所订阅主题(或分区)上的一组消息。一旦消费者订阅了主题(或分区)，轮询就会处理所有细...

spring集成kafka消费者监听_spring-kafka-消费者

weixin_34581259的博客

12-24

1565

一个消费者组有一个或者多个消费者如果一个消费者组订阅了主题，那么这个主题中的某个分区只能分配给消费者组中的某个消费者，不能分配给多个消费者。当1个消费者，6个分区时，将读取6个分区中的数据。当3个消费者，6个分区时，每个消费者读取其中的2个分区的数据当6个消费者，6个分区时，每个消费者读取其中的一个分区的数据。当7个消费者，6个分区时，有一个消费者将不读取数据，这样会造成资源浪费。在订阅主题时，自...

spring+springmvc整合kafka 简单示例

weixin_44041342的博客

12-18

3169

记一次ssm框架整合kafka的过程，简单demo初学者（附源码）环境变量的安装启动zookper和kafka项目结构图pom.xml 引入kafka所需的jar包config.properties配置文件application-kafka.xmlspring-mvc.xmlweb.xml生产者SpringProducer消费者KafkaConsumerListener总结环境变量的安装 1.首...

kafka maven 依赖_SpringMVC整合Kafka实战

weixin_39748773的博客

11-20

1027

1.SpringMVC整合生产者(Producer)SpringMVC整合生产者比较简单，我直接用一个单例对象来管理生产者，这样保证生产者也是一个单例对象。1.1 导入kafka的maven依赖1.2 创建单例对象管理生产者我使用静态内部类的方式创建单例对象，保证单例对象的线程安全。直接上代码public class KafkaManager { private static final ...

Kafka+SpringMVC+Maven应用示例

GY的的专栏

03-26

1887

本文借助主流SpringMVC框架向大家介绍如何在具体应用中简单快捷的使用kafka。kafka、maven以及SpringMVC在现在的企业级应用中都占据着非常重要的地位，所以本文将三者结合起来也可以方便大家进一步熟悉基于Maven的SpringMVC框架搭建。项目展示　　国际惯例，首先先向大家展示一下项目最终的运行效果：　　当项目正常启动后，在浏览器中输入：http:/

SpringMVC整合Kafka实战

现场喷口水的专栏

12-25

4824

1.SpringMVC整合生产者(Producer) SpringMVC整合生产者比较简单，我直接用一个单例对象来管理生产者，这样保证生产者也是一个单例对象。 1.1 导入kafka的maven依赖 1.2 创建单例对象管理生产者我使用静态内部类的方式创建单例对象，保证单例对象的线程安全。直接上代码 public class KafkaManager { private...

spring+springmvc+kafka分布式消息中间件集成方案

iteye_3750的博客

06-23

1110

Honghu的消息服务平台已经抛弃了之前的ActiveMQ，改用高吞吐量比较大的Kafka分布式消息中间件方案： kafka消息平台使用spring+kafka的集成方案，详情如下：使用最高版本2.1.0.RELEASE集成jar包：spring-integration-kafka Zookeeper、Kafka分布式集群使用init.properties配置化方案。 Java代码 kafka.servers=127.0.0.1:9092 kafka.topic=xxxooo

Kafka某Topic的部分partition无法消费问题

clz1314521的专栏

06-04

3378

今天同事反馈有个topic出现积压。于是上kfk管理平台查看该topic对应的group。发现6个分区中有2个不消费，另外4个消费也较慢，总体lag在增长。查看服务器日志，日志中有rebalance 12 retry。Exception，之后改消费线程停止。于是分析代码，将每个处理逻辑加上耗时日志，分析发现又是hbase写入耗时达到3秒。于是将hbase写入开关关闭。重新运行后，消费正常。

【kafka消息查询】kafka消费不到数据，写入端伙伴说他写入了，而且没有报错，如何来切割是写入的问题还是消费的问题

weixin_40293999的博客

08-07

662

kafka消费不到消息，如何查询界定是生产端的问题还是消费端的问题，特别是场景上下文已经丢失了的时候。kafka参考文档。

如何在springMVC项目中添加kafka依赖,并创建topic=154的消费者

04-08

可以在项目的pom.xml文件中添加以下依赖： ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.5.5.RELEASE</version> </dependency> ``` 此外，在代码中需要先创建一个KafkaTemplate实例，并使用它来发送消息。创建消费者的代码如下： ``` @KafkaListener(topics = "154") public void consume(String message) { System.out.println("Received message: " + message); } ``` 这样就可以监听topic为154的消息了。