spark更改分区_如何管理Spark的分区

当我们使用Spark加载数据源并进行一些列转换时，Spark会将数据拆分为多个分区Partition，并在分区上并行执行计算。所以理解Spark是如何对数据进行分区的以及何时需要手动调整Spark的分区，可以帮助我们提升Spark程序的运行效率。

什么是分区

关于什么是分区，其实没有什么神秘的。我们可以通过创建一个DataFrame来说明如何对数据进行分区：

scala> val x = (1 to 10).toList

x: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)

scala> val numsDF = x.toDF("num")

numsDF: org.apache.spark.sql.DataFrame = [num: int]

创建好DataFrame之后，我们再来看一下该DataFame的分区，可以看出分区数为4：

scala> numsDF.rdd.partitions.size

res0: Int = 4

当我们将DataFrame写入磁盘文件时，再来观察一下文件的个数，

scala> numsDF.write.csv("file:///opt/modules/data/numsDF")

可以发现，上述的写入操作会生成4个文件

每个分区的数据如下：

part-00000: 1, 2

part-00001: 3, 4, 5

part-00002: 6, 7

part-00003: 8, 9, 10

coalesce操作

源码

def coalesce(numPartitions: Int): Dataset[T] = withTypedPlan {

Repartition(numPartitions, shuffle = false, planWithBarrier)

}

解释

在减少分区时，返回一个新的分区数为指定numPartitions的DataSet，在增大分区时，则分区数保持不变。值得注意的是，该操作生成的是窄依赖，所以不会发生shuffle。然而，如果是极端的操作，比如numPartitions = 1，这样会导致只在一个节点进行计算。为了避免这种情况发生，可以使用