spark更改分区_Spark分区

一、如果某一个新的RDD产生的分区数，是从父RDD继承过来的。分区是RDD中的一部分数据(如果只有一个分区的话，那么就是全部)

二、怎么知道某一个 RDD有多少个分区？

makeRdd.getNumPartitions

三、如何设置RDD的分区？

1、在sparkConf当中设置setMaster中的值，可以改变RDD中的分区数

local 表示采用一个分区

local[2] 表示采用2个分区数

local[*] 以当前电脑的CPU核数来决定

注意：在创建RDD的时候设定的分区级别大于在setMaster设置的分区值

2、在创建RDD的时候，直接指定RDD的分区数

例如：val unit = sc.makeRDD(1.to(10),9) 9表示创建RDD时给的分区数

3、通过repartition修改某个RDD的值

val unit2 = sc.makeRDD(1.to(10)).repartition(3)

4、自定义分区【spark自定义分区】

注意：

注：在使用某一个文件夹或很多小文件时，会采用：如果最开始没有指定任何分区：

如果是从文件夹中读出的话，那么会将一个文件作为一个分区

如果从HDFS中读出的话，那么会将一个块作为一个分区

如果某一个RDD产生的分区值的数据太少，那么在子RDD中，可以将分区数减少

分区数会被spark对应成Task任务，也就是分区数越多，那么处理的速度会变