Spark Streaming 消费kafka数据出现No current assignment for partition崩溃
问题概述 我们用spark streaming 消费kafka数据,偶尔会出现该问题,其本质原因是多个进程以相同的kafka group id 并行消费同一个topic导致的,碰到该问题,应首先从迅速下面2个方面排查:多个应用程序使用了相同的kafka group id 去消费同一个topic 一个应用程序,在内部不小心间接地启动了2个消费进程,这2个进程使用了相同的kafka group id 去消费同一个topic前一个好说,比较容易排查,后一个需要仔细排查程序细节,如果预先没有...
原创
2020-07-06 16:08:11 ·
3668 阅读 ·
0 评论