spark-关于spark分区的理解

分区是分布式系统中最基本的概念，hdfs、hive、mr中都有分区，是并行的体现。
确切的说，spark没有分区，是RDD有分区。分区是spark在内存中进行并行计算时的一块独立的空间，是RDD并行计算的最小单元。RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是job最后一个RDD)的分区数决定。

数据源为hdfs时，rdd的分区数由hdfs的block数决定，类似于mr的分片数跟block数相同，是考量了磁盘IO的性能后作出的选择。正常情况下，数据源为hdfs时，读取时是不需要设置分区数的，设置了反而会影响效率。

1. 分区数越多越好吗？
   不是的，分区数太多意味着任务数太多，每次调度任务也是很耗时的，所以分区数太多会导致总体耗时增多。
   如果一个分区的数据量过小，则task的调度会影响效率，如果分区数相对于cores过小，则会造成资源浪费。
2. 分区数太少会有什么影响？
   分区数太少的话，会导致一些节点没有分配到任务；另一方面，分区数少则每个分区要处理的数据量就会增大，从而对每个节点的内存要求就会提高；还有分区数不合理，会导致数据倾斜问题。
3. 官方给出的建议是
   partitionNum 为executor-cores * num-executor的2~3倍。

二、spark源码中分区数的确定

1. 如果是本地模式，根据核数

2. yarn模式下，是总核数和2的max

三、分区器