spark-隐式设置情况下的分区数

src

须知：

1. 同一个stage内，rdd的分区数由最后1个rdd分区数决定。
   example：一个stage内有多个rdd，最后一个rdd执行了coalesce。那所有rdd的分区数都是1，即使使用repartition(40)也没作用。
2. 情况分为spark-shell，local，yarn3种情况。跟spark.default.parallelism，spark.default.minPartitions，文件的block数有关

spark.default.parallelism

本地运行时：

起作用

本地运行没配置sdp

spark-shell和local一样，都是1
local[n]，为n
local[]，为

从本地创建文件

textFile方法也可以从本地创建rdd。分为大小文件2种情况。大文件就是block数>=2的文件。

yarn

内存创建的rdd，总core数或者2，取大。

使用textFile，csv等方法读取hdfs文件

注意：sc.textFile(path, minPartitions)，第二个参数时最小分区数，不是分区数。
rdd的分区数 = max(hdfs文件的block数目, sc.defaultMinPartitions)

通过hive表创建的df

亲测：不管spark.default.parallelism的数量大于还是小于block数，分区数都为block数。