什么是数据倾斜?如何解决数据倾斜?
相信很多接触MapReduce的朋友对’数据倾斜’这四个字并不陌生,那么究竟什么是数据倾斜?又该怎样解决这种该死的情况呢?
何为数据倾斜?
在弄清什么是数据倾斜之前,我想让大家看看数据分布的概念:
正常的数据分布理论上都是倾斜的,就是我们所说的20-80原理:80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量 , 不同的数据字段可能的数据倾斜一...
转载
2019-03-28 14:31:33 ·
3290 阅读 ·
0 评论