![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
sweetgirl520
这个作者很懒,什么都没留下…
展开
-
查看kafka消费数据
storm jar接收程序,如果指定了forceFromStart=false,则从最新的数据开始读,最新是指多长时间的,有具体的参数设置如果指定了为true,则从最老的数据开始消费。如何查看目前的消费者是否已经读到最新的数据:kafka-run-class.sh kafka.tools.ConsumerOffsetChecker#kafka查看topic各个分区的消息的信息kafka-run-c...转载 2018-05-15 15:30:32 · 45736 阅读 · 0 评论 -
kafka重复消费问题--consumer消费能力很低
问题描述 采用kafka读取消息进行处理时,consumer会重复读取afka队列中的数据,使用命令查看kafka消费数据时,发现待消费数据一直没变。问题原因 kafka的consumer消费数据时首先会从broker里读取一批消息数据进行处理,处理完成后再提交offset。而项目中的consumer消费能力比较低,导致取出的一批数据在session.timeout.ms时间内没有处理完成,自动提...转载 2018-05-15 19:51:05 · 3858 阅读 · 0 评论 -
springboot集成kafka
本文介绍如何在springboot项目中集成kafka收发message。1、先解决依赖pom.xmlspringboot相关的依赖我们就不提了,和kafka相关的只依赖一个spring-kafka集成包 <dependency> <groupId>org.springframework.kafka</groupId> ...转载 2018-05-15 20:01:32 · 1331 阅读 · 0 评论