spark中的性能调优方案3(提高spark作业的并行度)

首先我们应该要明确spark中的并行度是指什么？是指spark作业中的各个stage里面task的数量,

     1>spark.default.parallelism

      2>textfile()可以根据地2个参数来设置该作业的并行度

    问题：应该怎样合理的设置spark作业的并行度呢?

          官网介绍:设置的并行度应该是你这个application 中cpu-core数量的2到3倍(曾经测试过，这种做法相对合理)

        参数设置并行度使用的场景是:在没有使用到sparksql时候，任务的运行到结束都是我们设置的并行度

      问题,为什么sparksql不能使用我们设置的并行度呢？

               答:因为我们在做sparksql的时候，就会涉及到sql语句，因为执行sql的时候，里面可能会涉及到复杂的算法,如果sparksql用到我们的并行度,可能会造成算法难以执行,但是我们可以在sparksql运行完成之后调用repartition来调整到我们自己的并行度(不介意使用,因为重置分区会导致shuffle，在spark中shuffle是作业的性能杀手,所以不介意使用)

         个人名言:人一辈子,我们总是要吃一些苦头,看尽一些美好,而你在黑暗的时候,你永远想不到自己也有花期