- 博客(1)
- 收藏
- 关注
原创 系统运维系列 之Kafka手动设置offset(经典方法总结)
1 问题背景在使用Kafka消费数据过程中,消费程序可能出现运行问题,导致消费不及时,消息堆积很多;尤其是消息消费后需要进行一列后处理,这种情况下就需要考虑一些方法来进行消费参数的设置。2 举例测试集群中有3台服务器,分别设置为Kafka的3个分区,分别为分区1,分区2和分区3,由于消费者出现运行问题,导致无法消费数据或者仅消费1到2个分区的数据,这时候分区中堆积的数据很多,达到百万级别甚至千万级别,由于消息消费后需要进行后续处理,按照正常速度消费需要较长时间才可以消费完这些堆积数据,且消费过程中会影
2021-10-25 19:33:49 9509 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人