spark sql参数优化提高执行速度

• 具体现象

  1. 内存CPU比例失调 一个Spark任务消耗 120(executor)*4G = 480G内存仅仅使用120个 core.几个SprakSQL任务就将整个系统资源吃光.
  2. 设置超过40个executor,但未指定分区数,导致多数executor空闲.

• 原因分析

• SparkSQL配置时Core与内存比例不恰当

• 没有指定executor核心数

• 未进行其他配置参数优化

• 解决办法

  1. 在配置SparkSQL任务时指定executor核心数 建议为4
     (同一executor[进程]内内存共享,当数据倾斜时,使用相同核心数与内存量的两个任务,executor总量少的任务不容易OOM,因为单核心最大可用内存大.但是并非越大越好,因为单个exector最大core受服务器剩余core数量限制,过大的core数量可能导致资源分配不足)　　
  2. 设置spark.default.parallelism=600 每个stage的默认task数量
     (计算公式为num-executors * executor-cores 系统默认值分区为40,这是导致executor并行度上不去的罪魁祸首,之所以这样计算是为了尽量避免计算最慢的task决定整个stage的时间,将其设置为总核心的2-3倍,让运行快的task可以继续领取任务计算直至全部任务计算完毕)
  3. 开启spark.sql.auto.repartition=true 自动重新分区
     (每个stage[阶段]运行时分区并不尽相同,使用此配置可优化计算后分区数,避免分区数过大导致单个分区数据量过少,每个task运算分区数据时时间过短,从而导致task频繁调度消耗过多时间)
  4. 设置spark.sql.shuffle.partitions=400 提高shuffle并行度
     (shuffle read task的并行度)
  5. 设置spark.shuffle.service.enabled=true 提升shuffle效率 --!并未测试
     (Executor 进程除了运行task 也要进行写shuffle 数据,当Executor进程任务过重时,导致GC不能为其他Executor提供shuffle数据时将会影响效率.此服务开启时代替Executor来抓取shuffle数据)