kafka
我知道你是高手
这个作者很懒,什么都没留下…
展开
-
kafka修改topic分区数量
bin/kafka-topics.sh --zookeeper node02:2181 --alter --topic second --partitions 3原创 2019-03-17 16:32:35 · 14866 阅读 · 0 评论 -
kafka如何保证数据不被重复消费并且不丢失数据
Kafka如何保证数据不重复消费,不丢失数据 不重复消费: 1.幂等操作,重复消费不会产生问题 2. dstream.foreachRDD {(rdd, time) = rdd.foreachPartition { partitionIterator => val partitionId = TaskContext.get.partitionId() val ...原创 2019-03-23 19:25:40 · 4605 阅读 · 0 评论 -
kafka消费延迟或者重复消费原因
简介 由于项目中需要使用kafka作为消息队列,并且项目是基于spring-boot来进行构建的,所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。先说明一下版本: spring-boot 的版本是1.4.0.RELEASE kafka 的版本是0.9.0.x 版本 spring-kafka 的版本是1.0.3.RELEASE 用过kafka的人都知道,对于使用...原创 2019-03-23 19:28:22 · 4138 阅读 · 0 评论