spark调优总览

spark调优整体分为四个部分

 

一、开发调优

https://blog.csdn.net/fzyedu1111/article/details/85260255

二、资源调优

https://blog.csdn.net/fzyedu1111/article/details/85261487

三、数据倾斜调优

https://blog.csdn.net/fzyedu1111/article/details/85261590

四、shuffle调优

https://blog.csdn.net/fzyedu1111/article/details/85261687

 

开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；

数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；

shuffle调优，面向的是对Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。