dataframe获取分区个数及每个分区的内容

1 dataframe获取分区个数

// 构造测试数据源
val df = spark.sparkContext.makeRDD(1.to(100), 4).toDF("id")
// 获取分区个数
val partition_num=df.rdd.partitions.length
// 打印分区个数
println(partition_num)

 

2 dataframe获取每个分区的内容

// 构造测试数据
val df = spark.sparkContext.makeRDD(1.to(100), 4).toDF("id")
// 每个分区的元素封装到一个数组中, 返回一个新的rdd
val res = df.rdd.glom()
// rdd转换成便于观察的格式
val res02 = res.map(x => x.map(_.getInt(0)).mkString(","))
// 打印每个分区的内容
res02.foreach(println)