MR数据倾斜解决方案

1.数据倾斜
由于mapreduce程序是按照key的hash值进行分区的 , 如果某些单词特别多 , 特别多的单词就会被分到同一个reduce去处理 ,
有些reducere任务处理的数据量小
有些reduce任务处理的数据量非常大
只有所有的reduce任务完成以后job才算完成 , 造成job的工作时间变长 [任务分配不均匀]
1 将key打散
在key上添加随机数 根据 reducetask的数量打散
2 避免reduce任务
当小表join大表的时候 我们可以将小表缓存在maptask运行的机器中(maptask任务的类路径下) , 获取所有的用户信息 , 将信息以uid为key存储在map中 , 在map方法中只读取大表的数据 , 根据条件拼接