Spark数据倾斜解决原理和方法总论

本博文主要包含以下内容：

一：均衡数据是我们的目标，或者说我们要解决数据倾斜的发力点。

一般说shuffle是产生数据倾斜的主要原因，为什么shuffle产生数据倾斜主要是因为网络通信，如果计算之前通过ETL（ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。）等工具作用是很强有力的，

1、去掉shuffle，是解决数据倾斜最好的方式，我们能不进行shuffle就不进行shuffle，广播可以减少shuffle。

2、采用好的数据结构和序列化方式，可以非常好的减少数据量以及提高性能。

3、Spark基于RDD构建了整个调度体系和生态体系，工作核心之一就是复用，而且是基于内存的复用，对RDD的复用，最小化每个job的工作，这样能极大化的减少数据倾斜。

二：数据倾斜解决之Map 端Reduce及问题思考

1、我们尽可能的将Reduce端放在Map端，我们就避免了shuffle，避免了shuffle我们就在很大情况下化解了数据倾斜的问题。

2、什么叫MappedReduce，整个spark是Rdd的链式操作，我们的D