RDD的分区数

1.RDD分区原则:

让RDD的分区数尽量和集群的CPU的核数保持一直,这样可以充分利用CPU的计算资源。开发中为了更加充分的压榨CPU的计算资源,会把平行度设置为cpu核数的2~3倍

2.分区数还和哪些因数有关?

脚本参数/API参数/文件本身分块数....

sc.parallelize(List(5,6,4,7,3,8,2,9,1,10)).partitions.length 
//没有指定分区数,默认值是2
sc.parallelize(List(5,6,4,7,3,8,2,9,1,10),3).partitions.length 
//指定了分区数为3
sc.textFile("hdfs://node-1:8020/wordcount/input/words.txt").partitions.length 
//2

 3.分区的作用?