【Python】【Kafka】kafka读取所有数据——使用消费群组+offset
kafka为分布式消息队列,队列中的消息可以保存7天。当使用消费者读取kafka中数据时,会面临这样的问题:当消费者进程中断后,再次进行消费时会发现,读取的位置当前获取的新数据,如果配置offsetauto_offset_reset='earliest'会从kafka初始的数据消费,重复消费之前的数据。如果想要使消费者像下载文件一样,可以“设置断点继续重传”我们可以在定义consumer时候这样做...
原创
2018-06-26 20:56:20 ·
10761 阅读 ·
3 评论