2021.2.25数据倾斜问题的讨论

有这样一个RDD1
(A,1),(A,2),(A,3),(B,1),(C,1)
这样一个RDD2
(A,100),(B,90),(C,60)
将这两个RDDjoin的时候：
(A,(1,100)),(A,(2,100)),(A,(3,100)),(B,(1,90)),(C,(1,60))

发生数据倾斜，怎么解决这个场景下的数据倾斜：
这个解决方案一定要牢牢记着，只要面试官不low一定会问你

可以先把RDD1进行拆分：
将导致数据倾斜的key分到一个RDD，数据比较均匀的key分到另外一个RDD

把RDD1拆成两个RDD：
RDD1_1：(A,1),(A,2),(A,3)
RDD1_2：(B,1),(C,1)
同时还要把RDD2进行拆分：
RDD2_1：(A,100)
RDD2_2：(B,90),(C,60)

第一个疑虑：怎么知道哪个key的数据量比较大会导致数据倾斜
可以采用抽样，抽样完之后做一个wordcount，抽样也有对应的算子sample
看一下哪个key对应的数据比较多，就把这些key所对应的数据拆到一个RDD中去

第二个疑虑：怎么把一个RDD拆成两个RDD？
代码怎么写，进行两次filter，就可以得到两个RDD

拆完之后接下来怎么做？
分完之后要对这两个RDD进行处理，key加上随机前缀，随机！！前缀
比如我加上的是ramdom(2)要么是0要么是1
这时候数据就变了：
RDD1_1：(A_0,1),(A,2),(A,3)
RDD1_2：(B,1),(C,1)