Flink -- window数据倾斜 解决思路

这里阐述一下Flink中 window间的数据倾斜的解决思路，不做代码展现

场景：

      分项目统计某个时间粒度的pv数据

数据情况：

每个项目的数据量不同，某个项目的数据量很大，导致这个项目的窗口中的数据很大，发生倾斜

 

解决思路：

思路一：

      针对window原始方式中在窗口触发前，是以数据积攒的方式进行的。所以针对这种方式可以在window后跟一个reduce方法，在窗口触发前采用该方法进行聚合操作（类似于MapReduce 中  map端combiner预处理思路）

 

 

 

思路二：

      思路一种处理后仍有倾斜问题，或者也可以直接采用思路二进行优化、处理。

大致思路：

将key进行扩展，扩展成自定义的负载数，即，将原始的key封装后新的带负载数的key，进行逻辑处理，然后再对新key的计算结果进行聚合，聚合成原始逻辑的结果。

具体实现思路：

1.人为查看具体的倾斜的（数据量大的项目码，例如Code1）

 

 

2.将原始的数据元组中keyby分组的键进行扩展，扩展指定的负载个数

例如：

       优化前：

                 数据元组：（项目码，1）