spark数据倾斜处理

1、在没有groupby reduceby的情况下，可以将原始数据repartition()一下，增加task的数量。

2、如果存在groupby reduceby的情况，如果只是统计key的数量，可以在key前面加上随机数，将key再细化，可以明显提高处理速度。

3、如果存在groupby的情况，要统计某个key的所有数据，可以使用hive先进行预处理，下下策做数据过滤。其他暂时好像还没好的方法。