数据倾斜产生原因概述
我们以Spark和Hive的使用场景为例。
他们在做数据运算的时候会涉及到,count distinct、group by、join on等操作,这些都会触发Shuffle动作。一旦触发Shuffle,所有相同key的值就会被拉到一个或几个Reducer节点上,容易发生单点计算问题,导致数据倾斜。
一般来说,数据倾斜原因有以下几方面:
key分布不均匀
业务数据本身的特性
建表时考虑不周
某些SQL语句本身就有数据倾斜
Shuffle与数据倾斜
Hadoop和Spark在Shuffle过程中产生数据倾斜的原理基本类似即数据不均匀。如下图
大部分数据倾斜的原理就类似于上图,很明了,因为数据分布不均匀,导致大量的数据分配到了一个节点。
数据本身与数据倾斜
我们举一个例子,就说数据默认值的设计吧,假设我们有两张表:
user(用户信息表):userid,register_ip
ip(IP表):ip,register_user_cnt
这可能是两个不同的人开发的数据表。如果我们的数据规范不太完善的话,