![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
我知道你是高手
这个作者很懒,什么都没留下…
展开
-
kafka修改topic分区数量
bin/kafka-topics.sh --zookeeper node02:2181 --alter --topic second --partitions 3原创 2019-03-17 16:32:35 · 14854 阅读 · 0 评论 -
kafka如何保证数据不被重复消费并且不丢失数据
Kafka如何保证数据不重复消费,不丢失数据不重复消费:1.幂等操作,重复消费不会产生问题2. dstream.foreachRDD {(rdd, time) =rdd.foreachPartition { partitionIterator => val partitionId = TaskContext.get.partitionId() val ...原创 2019-03-23 19:25:40 · 4592 阅读 · 0 评论 -
kafka消费延迟或者重复消费原因
简介由于项目中需要使用kafka作为消息队列,并且项目是基于spring-boot来进行构建的,所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。先说明一下版本:spring-boot 的版本是1.4.0.RELEASE kafka 的版本是0.9.0.x 版本 spring-kafka 的版本是1.0.3.RELEASE用过kafka的人都知道,对于使用...原创 2019-03-23 19:28:22 · 4096 阅读 · 0 评论