spark调优总览

spark调优整体分为四个部分

 

一、开发调优

https://blog.csdn.net/fzyedu1111/article/details/85260255

二、资源调优

https://blog.csdn.net/fzyedu1111/article/details/85261487

三、数据倾斜调优

https://blog.csdn.net/fzyedu1111/article/details/85261590

四、shuffle调优

https://blog.csdn.net/fzyedu1111/article/details/85261687

 

开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;

数据倾斜调优,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;

shuffle调优,面向的是对Spark的原理有较深层次掌握和研究的同学,主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页