并行度改变引发的血案

收到电话告警kafka消费堆积，就去查看任务健康状态，查找了以下几点：

1.查看背压情况，web页面绿码通行

2.查看任务GC情况，正常

3.查看数据写入情况，外部数据库mysql指标正常

4.查看checkpoint情况，几十毫秒完成

5.topic 生产消费速度，震惊~ 生产速度double了

至此可以确认消费能力不足导致，那就使用增加资源大法，调大任务并行度，看似一起都非常完美，

一顿操作调大并行度，重启任务，wath ? 任务咋报错了呢，查看错误日志，大概说的是写入mysql唯一键冲突，内心万马鹏腾，老老实实翻开代码看一下写入逻辑：做了一个窗口聚合的业务逻辑将窗口聚合的结果写入mysql，延时数据也不能丢弃，因此加了一个sideOutput 获取延时数据，为了减轻写入的压力，会将需要输出的数据缓存在状态中，做了定时定量输出，对于窗口结果数据是按照keyBy的，key与Mysql唯一键对应，那么对于全局来说key+windowTime 肯定是唯一的，对于延时数据来说拿到的是一条条的明细数据，没有经过窗口的处理的，因此在写入mysql之前会手动做窗口分配合并然后输出。看到