1. 配置 比例内存 : core = 1:2
2. 增加 core 数可以增加 执行任务的 线程数
3. 计算有大表,并发生shuffle 时,生成的任务数是由spark.sql.shuffle.partitions 决定的,所以针对大表shuffle ,要增加spark.sql.shuffle.partitions 配置值,不然有很多core 处于空闲状态
1. 配置 比例内存 : core = 1:2
2. 增加 core 数可以增加 执行任务的 线程数
3. 计算有大表,并发生shuffle 时,生成的任务数是由spark.sql.shuffle.partitions 决定的,所以针对大表shuffle ,要增加spark.sql.shuffle.partitions 配置值,不然有很多core 处于空闲状态