大数据数据倾斜高频面试题

1、数据倾斜表现

 公司一：总用户量1000万，5台64G内存的服务器。

公司二：总用户量10亿，1000台64G内存的服务器。

公司一的数据分析师在做join的时候发生了数据倾斜，会导致有几百万用户的相关数据集中到了一台服务器上，几百万的用户数据，说大也不大，正常字段量的数据的话64G还是能轻松处理掉的。

公司二的数据分析师在做join的时候也发生了数据倾斜，可能会有1个亿的用户相关数据集中到了一台机器上了（相信我，这很常见）。这时候一台机器就很难搞定了，最后会很难算出结果。

1）hadoop中的数据倾斜表现：

1. 有一个多几个Reduce卡住，卡在99.99%，一直不能结束。
2. 各种container报错OOM
3. 异常的Reducer读写的数据量极大，至少远远超过其它正常的Reducer
4. 伴随着数据倾斜，会出现任务被kill等各种诡异的表现。

2）hive中数据倾斜

一般都发生在Sql中group by和join on上，而且和数据逻辑绑定比较深。

3）Spark中的数据倾斜

Spark中的数据倾斜，包括Spark Streaming和Spark Sql&#x