文章目录
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/79151558ee6e44885dffd59da2b6f5c6.jpeg)
1.概述
遇到有遇到过这种情况的么?某个subtask的ck时间总是比其他的subtask久很多,检查各个subtask的消费,也没有数据倾斜,好几次ck超时都是被这个subtask拖垮的
日志开始报org.apache.kafka.common.errors.DisconnectException: null,调整request.timeout.ms后就不怎么报了。
TM的PS_Scavenge次数较大,但是3个TM都较大,唯独每次都是同一个subtask的ck时间较突出。
作业背压在kafka source端,下游数据处理也没有背压啊。
我觉得调大request.timeout,虽然kafka不超时了,但是拖得时间长了,导致ck start delay 久了?
因为根据文章:Kafka : kafka errors.DisconnectException: null
DisconnectException: null 这个和网络有关,应该是网络不好,这个报错和kafka 不稳定有关 检测topic详情 网络稳定性等。
做ck的时候 会提交offset 如果提