kafka添加 partion导致 spark 实时任务数据减少

场景： kafka原有两个分区，添加一个分区后，一直运行的实时的spark任务  数据减少约3分之一

 

分析： spark 将kafka 的offsite维护在checkpoint 里面，当spark任务运行的时候，给kafka添加新的分区，原来的checkpoint只维护原来的两个分区的 offsite,新的分区的offsite 无法维护（checkpoint 只在第一次创建的时候，创建新offsite,以后只是维护）

 

解决方法： 删除spark的checkpoint 重新启动程序

 

通过查看日志可知（红色箭头为删除checkpoint前后的数据）：

删除前 spark 只接收 kafka 两个partion的数据；删除后 接收三个partion的数据

 

总结：kafka的分区一定要在创建topic的时候设置好，要不后续重设很麻烦