Spark项目实战-实际项目中常见的优化点-shuffle调优

我相信这个shuffle调优有多重要就不用我在这里说了吧，其实在Spark Core系列的Spark性能优化，我们就已经说了Shuffle调优了。但是这里仍然要提起，是因为它在实际开发中太重要了，除了一些硬性指标，如CPU资源、IO等引起的性能问题。可以说shuffle是性能问题的最大杀手。所以我们这里重新提出来，是提醒自己在实际项目中要了解这其中的机制和原理以及如何优化。