1Spark job中最小执行单位为task 一个rdd有分区组成,这是rdd五大特性之一
2一个分区就是task 参考spark.default.parallelism的参数配置
3参数numPartitions来显示指定分区数 groupByKey(numPartitions: Int)
4加载HDFS上的数据生成的RDD,它的分区数由InputFormat切分机制决定, block块对应一个分区
5通常,RDD的分区数与其所依赖的RDD的分区数相同,除非shuffle
6增加分区用repartition会触发shuffle,shuffle的情况下可以增加分区数,
减少分区用coalesce默认不触发shuffle
7Spark SQL中,任务并行度参数则要参考spark.sql.shuffle.partitions
8能够并行计算的任务数量我们称之为并行度。