kafka
极客架构
这个作者很懒,什么都没留下…
展开
-
Kafka 根据指定的Partition与offset 消费数据
背景Kafka 本身可以存储数据,在实际的开发中,经常遇到需要重新消费数据。Kafka 消费方式非常的灵活,可以指定Partition,offset 进行重新消费代码 Properties props = new Properties(); props.put("bootstrap.servers", ":9096"); props.put("group.id", "test2121"); props.put("enable.auto.commit"原创 2021-09-29 16:31:45 · 2051 阅读 · 0 评论 -
Kafka 根据指定时间消费数据
背景在kafka的实际应用过程中,由于数据处理问题,需要对kafka中的数据进行重新消费。重新消费数据一般都是使用一个新的groupId,但默认的配置是earliest(当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费 ),latest (当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据 ).如果Kafka保存的数据量较小,通过earliest方式影响也不会太大,但当数据量比较大时,.原创 2021-09-06 17:00:24 · 8542 阅读 · 3 评论