问题如图(解决前与解决后均在图中)
![在这里插入图片描述](https://img-blog.csdnimg.cn/d8b8cd3e9a6b4c03b578be4ec67252cc.png)
分析
- 原因是在使用streaming处理数据时,流入DStream指定kafka中topic只有一个分区有数据;
- 为什么会只有一个分区流入数据?检查了消费的topic分区没有问题后,问题指向topic的数据来源
- topic的数据来源是Maxwell,所以检查一下写入topic分区的策略,随后再配置文件中加入该设置后问题解决:
producer_partition_by = primary_key
(项目来源尚硅谷是spark streaming实时处理项目)