- 博客(1)
- 收藏
- 关注
RSS订阅原创 系统运维系列 之Kafka手动设置offset（经典方法总结）
1 问题背景在使用Kafka消费数据过程中，消费程序可能出现运行问题，导致消费不及时，消息堆积很多；尤其是消息消费后需要进行一列后处理，这种情况下就需要考虑一些方法来进行消费参数的设置。2 举例测试集群中有3台服务器，分别设置为Kafka的3个分区，分别为分区1，分区2和分区3，由于消费者出现运行问题，导致无法消费数据或者仅消费1到2个分区的数据，这时候分区中堆积的数据很多，达到百万级别甚至千万级别，由于消息消费后需要进行后续处理，按照正常速度消费需要较长时间才可以消费完这些堆积数据，且消费过程中会影
2021-10-25 19:33:49
9509
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人