场景: kafka原有两个分区,添加一个分区后,一直运行的实时的spark任务 数据减少约3分之一
分析: spark 将kafka 的offsite维护在checkpoint 里面,当spark任务运行的时候,给kafka添加新的分区,原来的checkpoint只维护原来的两个分区的 offsite,新的分区的offsite 无法维护(checkpoint 只在第一次创建的时候,创建新offsite,以后只是维护)
解决方法: 删除spark的checkpoint 重新启动程序
通过查看日志可知(红色箭头为删除checkpoint前后的数据):
删除前 spark 只接收 kafka 两个partion的数据;删除后 接收三个partion的数据
总结:kafka的分区一定要在创建topic的时候设置好,要不后续重设很麻烦