Spark性能调优之数据倾斜调优一站式解决方案原理与实战

第29章Spark性能调优之数据倾斜调优一站式解决方案原理与实战

29.1为什么说数据倾斜是分布式大数据系统的性能噩梦？

大数据有基本的三个特性：第一个是数据多样化，有着不同类型的数据，其中包括结构化和非结构化数据；第二个就是庞大的数据量；第三就是数据的流动性，从批处理到流处理。一般在处理大数据的时候都会面对这三个特性的问题，而Spark就是基于内存的分布式计算引擎，以处理高效和稳定著称，是目前处理大数据的一个非常好的选择。然而在实际的应用开发过程中，开发者还是会遇到种种问题，其中一大类就是和性能相关的。

在分布式系统中，数据分布在不同的节点上，每一个节点计算一部份数据，如果不对各个节点上独立的部份进行汇聚的话，我们是计算不到最终的结果。这就是因为我们需要利用分布式来发挥它本身并行计算的能力，而后续又需要计算各节点上最终的结果，所以需要把数据汇聚集中，这就会导致 Shuffle，而 Shuffle 又会导致数据倾斜。

数据倾斜杀人利器就是Out-Of-Memory（OOM），一般OOM都是由于数据倾斜所致！如果应用程序在运行时速度变的非常慢，这就有可能出现数据倾斜。它所带来的结果是原本程序可以