如何定义DataFrame的分区？

最新推荐文章于 2022-05-18 15:54:23 发布

酱g

最新推荐文章于 2022-05-18 15:54:23 发布

阅读量2.5k

点赞数

分类专栏： spark 文章标签： spark范围分区

本文链接：https://blog.csdn.net/qq_33283716/article/details/83089842

版权

本文介绍了从Spark 2.3.0开始的范围分区功能，包括在Data Source API v2中对外部格式分区的支持。针对Spark 1.6.0及更高版本，探讨了与自定义分区器的区别和人工分区列的使用。

摘要由CSDN通过智能技术生成

SPARK-22614公开了范围分区

Spark> = 2.3.0

val partitionedByRange = df.repartitionByRange(42, $"k")

partitionedByRange.explain
// == Parsed Logical Plan ==
// 'RepartitionByExpression ['k ASC NULLS FIRST], 42
// +- AnalysisBarrier Project [_1#2 AS k#5, _2#3 AS v#6]
// 
// == Analyzed Logical Plan ==
// k: string, v: int
// RepartitionByExpression [k#5 ASC NULLS FIRST], 42
// +- Project [_1#2 AS k#5, _2#3 AS v#6]
//    +- LocalRelation [_1#2, _2#3]
// 
// == Optimized Logical Plan ==
// RepartitionByExpression [k#5 ASC NULLS FIRST], 42
// +- LocalRelation [k#5, v#6]
// 
// == Physical Plan ==
// Exchange rangepartitioning(k#5 ASC NULLS FIRST, 42)
// +- LocalTableScan [k#5, v#6]</