如何理解SparkSQL中的partitionColumn, lowerBound, upperBound, numPartitions
如何理解SparkSQL中的partitionColumn, lowerBound, upperBound, numPartitions在SparkSQL中,读取数据的时候可以分块读取。例如下面这样,指定了partitionColumn,lowerBound,upperBound,numPartitions等读取数据的参数。简单来说,就是并行读取。关于这四个参数的意思,SparkSQL官方解释是:Property NameMeaningpartitionColumn, lowerB
转载
2021-06-18 15:36:10 ·
2068 阅读 ·
0 评论